2016-10-11 65 views
0

我在谷歌雲數據流上設置了一項工作,並且需要7個多小時才能完成。我的工作ID是2016-10-10_09_29_48-13166717443134662621。它沒有顯示任何管道錯誤。只需註銷「oauth2client.transport:由於401刷新」。我的工人有沒有問題,或者有什麼問題。如果是這樣,我該如何解決它?「oauth2client.transport:401刷新」這個日誌究竟意味着什麼?

+0

401指「未授權」 ......聽起來你無法驗證的東西正確 – Basic

回答

2

按照一般的做法,你應該嘗試運行在本地管道使用DirectPipelineRunner上的一個小數據集來調試您的自定義轉換。

一旦通過,你可以使用谷歌雲數據流UI調查流水線狀態。您可以特別查看Step選項卡中的Elements Added字段,以查看您的轉換是否正在生成輸出。


在這個特定的工作中,有一個步驟似乎沒有產生輸出,這通常表明用戶代碼中存在問題。

+0

事實上,這項工作似乎沒有取得進展 - 看起來像一些記錄處理掛。現在我建議取消管道。調試的最佳方法是首先使用直接運行器在本地運行它,但也可以使用日誌記錄。另外,我建議開啓autoscailng - 這樣Dataflow可以關閉閒置的工作人員(其中一個工作人員閒置),節省資源和成本。 – jkff

相關問題