使用命令行工具從Google Cloud Console加載到Google BigQuery

Question

到現在爲止，我使用BigQuery Web工具從自動保存在雲端存儲上的數據備份加載。根據星期幾（星期一，星期三，星期五），我將這些備份存儲在三個不同的桶中，每週備份三次。

GAE備份工具使用這樣一個長名稱保存.backup_info文件（例如：ahNzfmVnb2xpa2Vwcm9kdWN0aW9uckELEhxfQUVfRGF0YXN0b3JlQWRtaW5fT3BlcmF0aW9uGIrD6wMMCxIWX0FFX0JhY2t1cF9JbmZvcm1hdGlvbhgBDA.entityName.backup_info），不知道如何確定它，或者我可以確定更容易的文件。我只能給「output-X-retry-Y」文件命名。有什麼方法可以改變它嗎？

另一方面，我正在嘗試命令行工具，我想從web工具移到這個工具。

我試過了load命令，但不知道如何從備份中自動生成模式，就像我從'指定模式'部分的web工具那樣做。

我一直在考慮，因爲沒有指定模式嘗試這種格式的錯誤：

bq load dataset.table gs://path 

是否有可能無法確定模式，以同樣的方式，我不這樣做的網絡工具？

Answer 1

如果您正在運行bq加載來導入GAE數據存儲備份，則應添加--source_format=DATASTORE_BACKUP標誌。請注意，您需要load之後，但在表名稱前添加標誌：

bq load --source_format=DATASTORE_BACKUP dataset.table gs://path 

會告訴你是從一個數據存儲備份，其中有一個自我描述的模式加載的BigQuery。

據我所知，沒有辦法控制數據存儲備份的生成名稱。