將Google BigQuery中的數據加載到Spark中（在Databricks上）

Question

我想從Google BigQuery將數據加載到Spark（在Databricks上）。我注意到Databricks爲Amazon S3提供了很多支持，但不支持Google。

從Google BigQuery中將數據加載到Spark（在Databricks上）的最佳方式是什麼？ BigQuery connector是否允許我這樣做，或者這僅對託管在Google雲端存儲上的文件有效？

Answer 1

BigQuery連接器是一個使用公共BigQuery API的客戶端庫：它將BigQuery導出作業運行到Google Cloud Storage，並利用文件創建順序提前啓動Hadoop處理以提高整體吞吐量。

此代碼應該在您碰巧找到您的Hadoop集羣的任何位置工作。也就是說，如果您運行的是大數據，那麼您可能會發現網絡帶寬吞吐量是一個問題（與Google的網絡連接有多好？），並且由於您正在從Google網絡中讀取數據，因此， GCS network egress costs將適用。