2015-12-14 93 views
0

enter image description here爲什麼我的Dataflow管道沒有顯示步驟?

當我運行這些示例時,我得到一張漂亮的圖片,顯示流程,並且可以在執行時監視它。用我的應用程序不顯示圖表,如果我點擊「步驟」它什麼都不顯示。

添加作業日誌的屏幕截圖。沒有警告或錯誤。順便說一下,我假設日誌條目上的圖標是「i」代表信息級別,但是當我將級別從BASIC更改爲ALL時,會添加更多條目並且它們都具有相同的圖標。這是令人困惑的。圖標應該更清楚,應該有懸停技巧,國際海事組織。

enter image description here

+0

嗨,我在數據流團隊。對不起,你有麻煩。你的管道是否產生輸出並且你是否證實輸出正在產生?你可以分享一個沒有圖表顯示的工作的工作ID嗎? –

+0

@JeremyLewi是的,它會產生我的預期輸出。這不是第一次截圖中的作業ID嗎?複製在這裏爲您提供方便。工作名稱\t uotcpipeline-nwh02-1214220911 職位編號\t 2015-12-14_14_09_19-5727579938330135228 – successhawk

+0

我剛纔看到這個在[常見問題](https://cloud.google.com/dataflow/faq#additional-support) ** _爲什麼數據流監控接口沒有報告我的管道輸出步驟的狀態?_ ** _這是數據流監控接口的一個已知問題,將在未來版本中解決。作爲解決方法,您可以在雲平臺輸出位置(例如雲存儲容器資源管理器或BigQuery控制檯)的相關雲平臺控制檯界面中查看實時輸出。我不確定這是否適用於我的情況。它有點模糊。 – successhawk

回答

0

我對數據流的球隊。很抱歉,您遇到此問題。

我相信這是因爲你正在使用的自定義步驟名稱而發生的。 從作業日誌的屏幕截圖看來,這些步驟中的某些步驟已被賦予代表GCS存儲路徑位置的名稱。 我注意到了這一點,從這個消息中的日誌:

執行操作「GS:// datalake /着陸/ ......」

這未能在監控界面來呈現,並有可能擊中斷言,因爲斜槓是不允許的字符。

爲了解決此問題,請嘗試刪除代碼中使用的自定義步驟名稱。這似乎被設置爲gs://樣式路徑。您也可以嘗試爲每個步驟指定名稱,而不使用特殊字符。 請嘗試在更改後再次運行作業,並查看圖形是否在數據流UI中正確呈現。

我創建了一個github issue來跟蹤此錯誤並防止將來在數據流SDK代碼中發送這些斜槓字符。

如果您遇到任何其他問題,請讓我知道。

+0

是的。就是這樣。我正在命名轉換文件名像TextIO.Read.named(inputFile).from(inputFile),因爲沒有明確命名它給了我這個警告:_WARNING:轉換TextIO.Read2沒有穩定的唯一名稱。這將阻止更新管道。警告消失了,當我硬編碼一個不帶斜線的名字時,監控界面按預期工作。謝謝! – successhawk

相關問題