自動將引擎數據存儲區數據推送到bigquery表格

Question

將數據從數據存儲區移動到bigquery表格我目前遵循手動和耗時的流程，即備份到谷歌雲存儲並恢復到bigquery。有關於恢復部分缺乏文檔，以便這個職位是得心應手現在http://sookocheff.com/posts/2014-08-04-restoring-an-app-engine-backup/

，有一個看似過時的文章（含代碼）做https://cloud.google.com/bigquery/articles/datastoretobigquery

我去過，但是，等待上網本實驗測試程序似乎自動化的過程，但得到了幾個月的訪問https://docs.google.com/forms/d/1HpC2B1HmtYv_PuHPsUGz_Odq0Nb43_6ySfaVJufEJTc/viewform?formkey=dHdpeXlmRlZCNWlYSE9BcE5jc2NYOUE6MQ

對於一些實體，我想推送數據到大查詢，因爲它（插入和可能更新）。對於更喜歡商業智能類型的分析，每日推送是好的。

那麼，最好的方法是什麼？

Answer 1

有數據輸入到BigQuery的三種方式：通過API，可以通過命令行

• 通過UI

如果選擇API，那麼你可以有兩種不同的方式：「批量」模式或流媒體API。

如果你想發送數據，那麼你需要使用流媒體API。每次您在數據存儲中檢測到更改（或者每隔幾分鐘就會根據您的需要進行一次更改），您必須調用API的insertAll方法。請注意，您需要事先創建一個具有數據存儲結構的表。 （如果需要，也可以通過API完成）。

對於第二個需求，每天攝取一次數據，您可以在link you provided中獲得完整的代碼。您所需要做的就是將JSON模式調整爲數據存儲的JSON模式，您應該做的很好。