2012-11-09 50 views
0

使用bigquery加載和分析IIS日誌(在Extended Log File Format中)的任何首選方式/示例?我們還需要自動分區。我們可以定期獲取日誌文件使用bigquery分析iis日誌

我們想要分析特定功能的使用情況,可以通過特定的網址格式和訪問者通過網站訪問的最受歡迎流量的轉化渠道來識別,以確定他們進入的位置然後離開。訪客可以通過cookie中的唯一ID(存儲在日誌中)和頁面與推薦人鏈接(也存儲在日誌中)。

在此先感謝

回答

0

將CSV格式文件加載到BigQuery中非常簡單。支持Both CSV and JSON format source data

我不是使用IIS的專家,但將平面日誌數據加載到BigQuery的最快方法是以CSV開頭。 IIS日誌格式非常簡單易用,但您可能需要保存一個步驟並將其導出到CSV中。快速搜索顯示許多人使用LogParser(注意:我從來沒有用過它)將IIS日誌轉換爲CSV。也許試試這個或類似的工具。

至於「自動分區」BigQuery數據集表 - BigQuery不會自動執行此操作,但對於您導出的每批IIS日誌創建新表非常容易。

根據您分析的數據量,您應該每天或每小時創建一個新的BigQuery表。

使用BigQuery command line tool時,在命令行上編寫腳本非常簡單。根據您擁有的日誌數據的每個時間片創建一個新的BigQuery加載作業,並創建一個新的表名。

換句話說,你的BigQuery表格應該是這個樣子:

mydataset.logs_2012_10_29 
mydataset.logs_2012_10_30 
mydataset.logs_2012_10_31 
etc... 

欲瞭解更多信息,請確保您通過BigQuery的文檔閱讀importing data