使用Azure的數據湖的分析

Question

目前作爲我們的要求的一部分，我們正在與下面Azure的組件工作

• Azure的事件樞紐

• Azure的數據流分析

• Azure的表存儲

• Azure SQL DB

基本上，前3個組件，我們將建立一個分析和報告平臺。

目前，我們剛剛開始分析Azure表存儲的數據並將其顯示在分析儀表板中。

最近我們遇到了一個新的Azure產品Azure Data Lake。對微軟網站做一些研究，我們可以看到我們可以輕鬆地將數據從Azure Table Storage（在Azure Data Factory的幫助下）遷移到Azure Lake Store。 Creating big data pipelines using Azure Data Lake and Azure Data Factory

當我們通過上述鏈接時，提到我們需要創建一個Azure Data Lake Analytics管道來處理數據。

所以目前尚不清楚分析輸出數據的保存位置。我們是否需要將分析輸出保存到某個數據庫？或者我們是否可以通過Http請求進行實時分析？

我們在Azure表存儲中有大量記錄將被移到Azure Data Lake中。對於這種情況，這是一個不錯的選擇，或者我們可以從Azure表存儲本身進行基於分析的解決方案。

請分享你的想法

Answer 1

您可以通過處理之後存儲在Azure數據湖存儲（數據倉庫，使您能夠存儲各種以原始格式的數據沒有確定的模式。）您的分析輸出數據Azure數據湖分析（一種分析服務，可讓您在數據集上運行作業，而無需考慮集羣）。

正如您所說的那樣：「我們在Azure表存儲中有大量記錄將被移到Azure Data Lake「。我認爲對位於Azure數據存儲庫上的數據執行分析更加高效，因爲它提供了無限制的存儲空間，可立即對我進行讀/寫訪問t並擴展您的工作負載所需的吞吐量。它還爲大數據集提供低延遲的小寫入。所以我相信這是Azure Table存儲的更好選擇。