2016-03-07 41 views
0

我們是一家adtech公司,我們將大量數據存儲在Azure表中。像每個用戶的頁面瀏覽,頁面操作,會話等。我們選擇SQL Server的Azure表的原因是數據量龐大(每秒數萬次)。對存儲在Azure表中的數據執行高級查詢(DW?MR?)

我們期待着更進一步,並對這些數據進行高級查詢。這在Azure生態系統中有可能嗎?也許通過將數據加載到他們的數據倉庫產品或通過一些Map Reduce查詢?

另外,如果上述可能的話,我們也在考慮在數據倉庫中以小批量方式提取數據,以確保我們有一個相對新鮮的副本,而不必加載大批量的數據。這是Azure支持的嗎?

感謝

+0

這是一個相當廣泛的問題。如果您正在討論除Table Storage提供的查詢之外的查詢,那麼如何將數據傳輸到其他處理引擎真的取決於您(沒有內置引擎,如Azure存儲中的map/reduce)。就數據攝取而言:可能有很多方法,但這又是一個非常廣泛和開放的結局。並且可能會變成討論。你應該考慮寫出具體的問題。 –

+0

從你的問題描述我可以建議的是,你應該嘗試查看「Azure DataFactory」,然後將其管理到「HDInsight或Data Lake Store」進行分析。 – TusharJ

回答

0

天青表可以查詢使用查詢運算符這樣的數據:https://msdn.microsoft.com/en-us/library/dd135725.aspx 你可以使用Azure Table中的功能進行更深入的分析,建立自定義應用程序。

或者,如果您有興趣使用您的數據對數據進行大數據分析,請使用現有軟件框架在Azure中考慮HDInsight或Data Lake Analytics。它提供更復雜的。 HDInsight:https://azure.microsoft.com/en-us/documentation/services/hdinsight/ Data Lake Analytics:https://azure.microsoft.com/en-us/documentation/services/data-lake-analytics/ 每個分析引擎都有數據攝入的手段。

相關問題