我們是一家adtech公司,我們將大量數據存儲在Azure表中。像每個用戶的頁面瀏覽,頁面操作,會話等。我們選擇SQL Server的Azure表的原因是數據量龐大(每秒數萬次)。對存儲在Azure表中的數據執行高級查詢(DW?MR?)
我們期待着更進一步,並對這些數據進行高級查詢。這在Azure生態系統中有可能嗎?也許通過將數據加載到他們的數據倉庫產品或通過一些Map Reduce查詢?
另外,如果上述可能的話,我們也在考慮在數據倉庫中以小批量方式提取數據,以確保我們有一個相對新鮮的副本,而不必加載大批量的數據。這是Azure支持的嗎?
感謝
這是一個相當廣泛的問題。如果您正在討論除Table Storage提供的查詢之外的查詢,那麼如何將數據傳輸到其他處理引擎真的取決於您(沒有內置引擎,如Azure存儲中的map/reduce)。就數據攝取而言:可能有很多方法,但這又是一個非常廣泛和開放的結局。並且可能會變成討論。你應該考慮寫出具體的問題。 –
從你的問題描述我可以建議的是,你應該嘗試查看「Azure DataFactory」,然後將其管理到「HDInsight或Data Lake Store」進行分析。 – TusharJ