寫入Big Query時數據流作業失敗 - 找不到JSON文件

我們最近因爲無法找到要加載到Big Query的json文件而導致Dataflow作業失敗。我的理解是，json文件是由Dataflow生成的，並且這是一個意外的狀態。寫入Big Query時數據流作業失敗 - 找不到JSON文件

這項工作每天運行近一年，這是我們第一次看到這個錯誤。隨後的運行也是成功的。

Oct 26, 2015, 3:13:32 PM S15: (1c654a773802760a): Workflow failed. Causes: (1c654a773802735f): BigQuery import job "dataflow_job_11909924374132686736" failed. Causes: (1c654a77380270b4): BigQuery job "dataflow_job_11909924374132686736" in project "project_name" finished with error(s): job error: Not found: Google Storage File gs://cdf/binaries/denormailization/11909924374132684847/-00081-of-00120.json, error: Not found: Google Storage File gs://cdf/binaries/denormailization/11909924374132684847/-00081-of-00120.json

職位編號：2015-10-25_21_01_46-11909924374132686437

來源

2015-10-27 matthewd

嘿！你解釋這個的方式，這聽起來更像是一個問題，而不是你可以在Stack上解決的問題。我建議在此處張貼到Dataflow用戶語音論壇：https：//googlecloudplatform.uservoice.com/forums/302628-dataflow/filters/top – Patrice

Dataflow通過寫入臨時文件，然後運行BigQuery導入作業將有界的PCollections寫入BigQuery將數據加載到BigQuery表中。看到一個文件被錯過是非常意外的。我們正在內部調查，看看爲什麼會發生這種情況。請讓我們知道你是否再次看到它。 – Frances

感謝@Frances我們從未見過它，但會讓你知道，如果我們這樣做。 – matthewd

可能丟失的文件。

未找到：谷歌存儲文件GS：//cdf/binaries/denormailization/11909924374132684847/-00081-of-00120.json

來源

2016-02-05 23:53:07

寫入Big Query時數據流作業失敗 - 找不到JSON文件

回答

相關問題