Cloud Dataflow BQ輸出掛起TLS握手錯誤的作業

我的Cloud Dataflow作業掛起。Cloud Dataflow BQ輸出掛起TLS握手錯誤的作業

管道：

Pipeline p = Pipeline.create(options); 
p.apply(TextIO.Read.named("ReadFiles").from(options.getInputFile()).withCompressionType(CompressionType.GZIP)) 
.apply(new ProcessRecords(eventType)) 
.apply(BigQueryIO.Write.to(options.getOutput()).withSchema(options.getBigQuerySchema()) 
     .withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_NEVER) 
     .withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_TRUNCATE)); 
p.run();

從工人記錄所有我能看到的是

Kubelet is healthy?: true 
TLS handshake error from 172.17.0.2:41759: EOF 
shutdown[7231]: shutting down for system halt

同樣的工作，當我輸出到文件GCS它工作正常。

作業ID：2016-12-28_15_23_54-4009520083656203603

我曾嘗試多次，但每一次的同樣的問題。

來源

2016-12-29 Atrix1987

你爲什麼認爲工作掛起？我查看了日誌，看起來好像是在用戶取消BigQuery時將數據導入BigQuery的幾分鐘時間。你是否嘗試等待更長時間才能完成？ – jkff

「關機」的事情是正常的操作。在BigQuery導入作業運行時，數據流會關閉您的工作人員，以免浪費資源。 – jkff

@jktf我做了w8等5-10分鐘，然後取消它。我需要更長的時間嗎？將再次運行 – Atrix1987

管道結構代碼或數據流沒有錯。 TextIO寫入操作比BigQueryIO寫入更快。

如果您每次注意到您的所有步驟只是簡單地移動到「正在運行」狀態並且不顯示處理速度或其他任何事情，那麼它沒有任何問題。

挖入工作日誌可能會顯示TLS握手錯誤或關機或系統暫停。這絕對正常。讓工作繼續下去，這應該沒問題。

來源

2016-12-29 11:04:54 Atrix1987

Cloud Dataflow BQ輸出掛起TLS握手錯誤的作業

回答

相關問題