作業永遠掛起，沒有日誌

如果使用extra_package選項來使用自定義ParDo，那麼使用Python SDK，作業似乎永遠掛起（我必須在某個時候手動將其終止）。作業永遠掛起，沒有日誌

這裏是例如作業ID：2016-12-22_09_26_08-4077318648651073003

沒有明確的日誌或錯誤拋出...

我注意到這是關係到extra_package選項，因爲如果我使用這個選項，而不實際觸發ParDo（代碼註釋），它也不起作用。初始Bq查詢具有簡單的輸出模式並且無變換步驟。

它發生在某人身上嗎？

P.S：我正在使用DataFlow 0.4.3版本。我一個VENV內部測試，這似乎與DirectPipelineRunner

2016-12-22 thylong

對不起。根據Cloud Logging中工作人員的工作日誌，似乎您的extra_package可能與Dataflow的包是二進制不兼容的，或者類似的東西。問題仍然在發生還是您最終能夠成功完成工作？包是什麼？ – jkff

不用擔心，我確認。我的根目錄中的requirements.txt和extra_package中的requirements.txt是不同的。導致DataFlow容器中的exec.go一次又一次失敗。我最終重新創建了具有相同凍結依賴性的venv。 – thylong

工作正如thylong和JKFF確定：

的extra_package與數據流的包二進制兼容。根目錄中的requirements.txt和extra_package中的requirements.txt不同，導致DataFlow容器中的exec.go一再失敗。爲了解決這個問題，我們用相同的凍結依賴重新創建了venv。

2017-05-04 18:03:28

回答