Google的BigQuery與Azure數據湖U-SQL

Question

我想了解谷歌的Big query和Azure數據Lake U-SQL之間的差異或優缺點。哪個更好 ？我詳盡地搜索了最大的區別是什麼，但無法找到它。

Answer 1

好的，這裏有兩種技術之間的一些基本區別。

數據外形

1. 谷歌大查詢 - 他們請你把數據轉換爲一定 形狀，如JSON，CSV或Avro公司。
2. 數據湖泊 - 他們只是要求你轉儲你在湖中的任何東西，並且你可以在其上運行usql查詢。

數據大小

谷歌大查詢擁有超過文件大小限制 - https://cloud.google.com/bigquery/loading-data-into-bigquery#quota雖然他們是相當大的限制

數據湖 - 擁有超過文件大小正式沒有限制，你實際上可以從一個PB字節文件開始。

最大的區別在於查詢模型，但在此之前必須知道您還可以在Azure數據存儲庫上運行HBase工作負載，而HBase實際上是谷歌大表的開源實現，其他許多細微之處您可以在這裏看到的差異http://www.larsgeorge.com/2009/11/hbase-vs-bigtable-comparison.html。

谷歌大查詢本身不是一個編譯查詢，而USQL是SQL語法和CLR功能的組合，USQL查詢首先被編譯，然後運行在數據存儲上，這允許一個人編寫自定義函數與他們的查詢一起使用來解析或處理差異形式的數據。 甚至可以使用Azure數據湖工具可視化USQL查詢的執行計劃。 Big query和USQL都很容易理解和使用。

認證

1. 谷歌大查詢有標準的API認證 https://cloud.google.com/bigquery/authentication
2. ADL - 應用程序和用戶身份驗證通過Azure的AD控制。

作爲一個大數據平臺都要求尊重，但我個人認爲Azure的數據湖爲更好的實現，因爲它允許靈活地使用開源項目，如火花，風暴，蜂巢，豬等工作，而大表將您的功能限制在Google生態系統中。

連接與我在我的Twitter手柄@brijrajsingh，如果你可以把它做在GIDS班加羅爾下降的，我提供一個關於4月29日的數據湖泊會話年，2016年