BigQuery的數據傳輸服務

Google BigQuery的數據傳輸服務可以使用多個雲存儲位置作爲數據獲取到BigQuery的源目的地嗎？BigQuery的數據傳輸服務

BQ從GCS與其他雲源收取數據的方式有什麼不同嗎？

數據傳輸服務的文檔中提到，從2017年6月1日起，BQ將收取數據傳輸服務的每月訂閱費用？我們有關於成本模型的任何細節嗎？

來源

2017-05-15 Bhavik Desai

我是BQ數據傳輸團隊的工程師。

通過數據傳輸服務，您可以創建多個傳輸配置。例如，如果您願意，您可以連接到100個不同的GCS存儲區，以備份不同的DCM帳戶（例如）。

加載數據沒有區別 - BQ中的加載作業仍然空閒。

數據傳輸服務的確很快就會採用訂閱模式。有關詳細信息，您可以聯繫銷售，或者您可以等待更多的文檔https://cloud.google.com/bigquery/transfer/

希望幫助！

來源

2017-05-16 01:00:09 Tib51

謝謝....有沒有關於使用DataTransferService加速從GCS到BQ的攝取的任何文檔？我有500個csv文件（每個文件都有25 GB的未壓縮大小）被攝入BQ。我希望有一個並行攝入BQ日常分區....出於好奇，我可以使用BQ的UDF（用戶定義的功能）這樣的攝取過程？ UDF方法有沒有相關的成本？ –

Hi Bhavik，數據傳輸服務只連接到特定服務（例如DoubleClick，YouTube）。它目前不提供通用的GCS功能。要從GCS加載，請隨時啓動多個GCS加載作業。如果文件未壓縮並且將引用的換行符設置爲false，則加載速度最快，因爲這樣可以實現最大程度的並行化。 – Tib51

BigQuery的數據傳輸服務

回答

相關問題