谷歌數據流失敗

去過一會兒測試數據流，今天我遇到一些故障，錯誤信息是：谷歌數據流失敗

原因：（b8a42e32d0888f60）：無法從GS重命名文件輸出中：// clickstream_current的/ tmp/dataflow /staging/clickstream/8977742977819433140/dax-tmp-2015-04-14_15_58_06-5441905562239213266-S01-1-e70068cb69ef966a/@DAX.json到gs：// clickstream_current/tmp/dataflow/staging/clickstream/8977742977819433140/@ *。 JSON。原因：（b8a42e32d0888fdb）：無法重命名「GS：// clickstream_current/TMP /數據流/分段/點擊流/ 8977742977819433140/DAX-TMP-2015-04-14_15_58_06-5441905562239213266-S01-1-e70068cb69ef966a/-shard-00000-的-00940-endshard.json「改爲」gs：//clickstream_current/tmp/dataflow/staging/clickstream/8977742977819433140/-00000-of-00940.json。

這是GCS問題嗎？除了失敗之外，還有警告抱怨「從GCS文件夾無法刪除臨時文件」我能做些什麼來避免呢？

來源

2015-04-14 Echo

這種故障是否一致發生？您是否嘗試過使用較小的數據集和/或增加工作人員的數量？ –

對象gs：//clickstream_current/tmp/dataflow/staging/clickstream/8977742977819433140/dax-tmp-2015-04-14_15_58_06-5441905562239213266-S01-1-e70068cb69ef966a/-shard-00000-of-00940-endshard.json實際存在？ –

你的管道使用什麼類型的寫變換？例如BigQueryIO，TextIO，AvroIO？ –

我們已經確定了服務的問題，這將導致在某些罕見的情況下此故障。我們正在解決這個問題的工作。與此同時，我們對給您帶來的不便深表歉意。如果您使用BigQueryIO.Write來更改錯誤輸出你的數據。

來源

2015-04-21 23:36:57

谷歌數據流失敗

回答

相關問題