數據流似乎被卡住

剛剛得到這個錯誤信息：數據流似乎被卡住

（941d0d42ab1c3aec）：工作流程失敗。原因：（941d0d42ab1c3675）：Dataflow似乎卡住了。請聯繫數據流團隊http://stackoverflow.com/questions/tagged/google-cloud-dataflow。

請大家幫忙。

來源

2017-09-11 bignano

工作編號：2017-09-11_07_13_42-2005096921586938573 – bignano

感謝您分享工作ID。從爲Stackdriver日誌，我看到工人的虛擬機無法啓動監守他們無法從泊塢窗取容器圖像：

Handler for GET /v1.23/images/dataflow.gcr.io/v1beta3/beam-java-batch:beam-0.6.0/json returned error: No such image: dataflow.gcr.io/v1beta3/beam-java-batch:beam-0.6.0

編輯：後進一步檢查，我可以看到有沒有上演罐子工作。看起來stagingFiles正在被一個csv文件覆蓋：header_H-[..].csv。

如果您指定getFilesToStage()選項，則還必須包含運行管道所需的完整jar文件列表。您可以看到DataflowRunner如何在detectClassPathResourcesToStage(classLoader)中執行此操作。

另外，此管道使用Dataflow SDK 0.6，目前已棄用。最新的1.x版本是1.9.1，或者您可以升級到基於Apache Beam的2.1.0。

來源

2017-09-11 17:29:21

是的，我可以提供任何你需要知道的關於這條管道，只是讓我知道你需要什麼細節。沒有防火牆配置或任何我知道會阻止對泊塢窗圖像的訪問。關於SDK 0.6，我有兩個問題：1）是否仍然可以使用2）我有本地機器上運行任何版本大於0.6的任何問題，我在本地調試我的程序。 – bignano

我問了一些其他的Dataflow工程師，看起來虛擬機可能會被損壞並且無法隨時啓動。如果你重新執行這項工作，你還會遇到同樣的問題嗎？ –

對於從0.6：1升級的問題）是的，1.6.0已棄用，但仍可用於運行作業。 1.6.0版本已知壓縮資源的數據丟失問題，所以強烈建議用戶升級。請參閱：https://cloud.google.com/dataflow/release-notes/release-notes-java-1如果遇到升級問題，請發起一個新問題。 –

數據流似乎被卡住

回答

相關問題