我在谷歌雲數據流上設置了一項工作,並且需要7個多小時才能完成。我的工作ID是2016-10-10_09_29_48-13166717443134662621。它沒有顯示任何管道錯誤。只需註銷「oauth2client.transport:由於401刷新」。我的工人有沒有問題,或者有什麼問題。如果是這樣,我該如何解決它?「oauth2client.transport:401刷新」這個日誌究竟意味着什麼?
0
A
回答
2
按照一般的做法,你應該嘗試運行在本地管道使用DirectPipelineRunner
上的一個小數據集來調試您的自定義轉換。
一旦通過,你可以使用谷歌雲數據流UI調查流水線狀態。您可以特別查看Step
選項卡中的Elements Added
字段,以查看您的轉換是否正在生成輸出。
在這個特定的工作中,有一個步驟似乎沒有產生輸出,這通常表明用戶代碼中存在問題。
+0
事實上,這項工作似乎沒有取得進展 - 看起來像一些記錄處理掛。現在我建議取消管道。調試的最佳方法是首先使用直接運行器在本地運行它,但也可以使用日誌記錄。另外,我建議開啓autoscailng - 這樣Dataflow可以關閉閒置的工作人員(其中一個工作人員閒置),節省資源和成本。 – jkff
相關問題
- 1. 這究竟意味着什麼?
- 2. 「雲計算」究竟意味着什麼?
- 3. AspNetCompatibilityRequirements究竟意味着什麼?
- 4. Cocoapods平臺,究竟意味着什麼?
- 5. 「帶外庫」究竟意味着什麼?
- 6. xmlns =「」究竟意味着什麼
- 7. flex標籤究竟意味着什麼?
- 8. TE和NT究竟意味着什麼
- 9. Composable究竟意味着什麼?
- 10. jquery:「$(this)」究竟意味着什麼?
- 11. struct.calcsize('P')究竟意味着什麼?
- 12. UrlReferrer究竟意味着什麼?
- 13. 「有效」究竟意味着什麼
- 14. @Secured({「ROLE_USER」,「ROLE_ADMIN」})究竟意味着什麼
- 15. 響應者究竟意味着什麼?
- 16. max_connections究竟意味着什麼?
- 17. 異步NSUrlConnection究竟意味着什麼?
- 18. curlopt_binarytranfer究竟意味着什麼?
- 19. 「就地」究竟意味着什麼?
- 20. 這個Azure錯誤究竟意味着什麼?
- 21. 這個內部連接查詢究竟意味着什麼?
- 22. 在這個reducer中返回{... state,}究竟意味着什麼?
- 23. 網址構建。這個網址究竟意味着什麼?
- 24. 這些liferay config params究竟意味着什麼?
- 25. 這段代碼片段究竟意味着什麼?
- 26. 什麼是printf定義中的__format究竟意味着什麼?
- 27. 什麼不透明的內容究竟意味着什麼?
- 28. 那麼「return 0」究竟意味着什麼呢?
- 29. 究竟是「拋出」意味着OOP
- 30. Javascript中的「函數對象」這個術語究竟意味着什麼?
401指「未授權」 ......聽起來你無法驗證的東西正確 – Basic