應用程序洞察日誌分析

Question

我有Application Insights的事件日誌，其中記錄事件並將其存儲爲存儲在BLOB存儲中的文本文件中的json。我需要找到customProperty滿足條件的那些jsons。命中jsons的數量非常少（約10或20），但記錄的數據非常大。任何建議如何有效地完成這項工作？

我已經在Microsoft文檔中看到HDInsights理解blob存儲並且效率很高。這與我的情況有關嗎？如果是這樣，有人可以提供一些起點。

Answer 1

HDInsight是Hadoop兼容的實現，它是一種很好的日誌分析技術。關於遙測的AppInsighs頁面上也有being stated。 「在更大規模的情況下，考慮HDInsight - Hadoop集羣，HDInsight提供了各種管理和分析大數據的技術。」

在同一頁上，您可以找到有關將AppInsights遙測連續導出到Azure Blob存儲的信息。

下一步可能是使用HDInsight進行分析，但它需要您執行某種算法。

要從Azure Blob上傳數據到HDInsight，您可能會看到that link（和this用於查詢）。

要了解日誌處理管道（這是Hadoop/HDInsight的常見任務），可以使用一些演練和手冊，例如this。但是您需要根據您的情況調整此算法。

Answer 2

對於Application Insights，還有另一種選擇。新的分析工具應用程序Insights Analytics已被引入。

• https://blogs.msdn.microsoft.com/bharry/2016/03/28/introducing-application-analytics

該工具還alows您與所有工作記錄使用特定語言數據：

requests 
| where timestamp >= ago(24h) 
| summarize count() by client_CountryOrRegion 
| order by count_ desc 

您可以導出你需要的數據。