將Azure事件中心與Data Lake Store連接

Question

從Event Hub發送數據到Data Lake Store的最佳方式是什麼？

Answer 1

一種方法是編寫進程從事件中心event hub API中讀取消息並將它們寫入Data Lake Store。 Data Lake SDK。

另一種方法是使用Steam Analytics將事件中心的數據導入Blob，Azure Automation運行powershell以讀取blob中的數據並寫入數據存儲區。

Answer 2

除了Nava的回覆：您還可以使用ADLA/U-SQL在Windows Azure Blob存儲容器中查詢數據。或者，您可以將Blob Store用於ADL Storage複製服務（請參閱https://azure.microsoft.com/en-us/documentation/articles/data-lake-store-copy-data-azure-storage-blob/）。

Answer 3

我假設您要定期從EventHubs向Data Lake Store中提取數據。就像Nava說的那樣，您可以使用Azure流分析從EventHub獲取數據到Azure存儲Blob中。之後，您可以使用Azure數據工廠（ADF）將數據定期從Blob複製到Azure Data Lake Store。有關使用ADF的更多詳細信息，請訪問：https://azure.microsoft.com/en-us/documentation/articles/data-factory-azure-datalake-connector/。希望這可以幫助。

== 2016年3月17日更新。

現在支持Azure Data Lake Store作爲Azure Stream Analytics的輸出。 https://blogs.msdn.microsoft.com/streamanalytics/2016/03/14/integration-with-azure-data-lake-store/。這將是您的方案的最佳選擇。

薩欽謝斯

項目經理，Azure的數據湖

Answer 4

不採取信貸這一點，但與社區共享：

也可以存檔活動（看看屬性\檔案），這留下一個Avro一滴。

然後使用AvroExtractor可以作爲安東尼的BLOB描述的記錄轉換爲JSON： http://anthonychu.ca/post/event-hubs-archive-azure-data-lake-analytics-usql/

Answer 5

的方法之一是使用EventHub捕獲功能（數據湖和Blob存儲您的EventHub連接到數據湖目前支持）。事件中心會每隔N分鐘或數據大小閾值達到數據湖。它用於優化存儲「寫入」操作，因爲它們在高規模上很昂貴。

數據以Avro格式存儲，所以如果您想使用USQL查詢它，您必須使用Extractor類。 Uri給出了很好的參考https://anthonychu.ca/post/event-hubs-archive-azure-data-lake-analytics-usql/。