bq加載失敗，連接錯誤，仍然上傳數據

Question

我們有一個腳本來使用bq上傳JSON換行符分隔的數據。 bq失敗，說BigQuery error in load operation: Connection error. Please try again.。我們的腳本重試了5次直到成功。不幸的是數據上傳了5次。

Answer 1

這一個來自約旦：

有一個鮮爲人知的標誌，以防止在BQ工具 雙上傳（如果您使用的是進口）。如果您使用「--fingerprint_job_id」 它將使用基於文件名散列的作業ID，您將加載 ，因此如果您嘗試 運行一秒，將會因'已存在'錯誤而失敗時間。

如果您不使用bq工具，您可以設置一個手動作業ID - 這樣可以防止相同作業像本例中一樣運行兩次。

如果您將同一個數據添加到同一個表5次，並且您想要返回到之前的表，則表裝飾器可以提供幫助。您可以返回過去7天內的任何州。見https://developers.google.com/bigquery/table-decorators。