谷歌Dataflow管道堵在shuffeling上

Question

昨天我開始了Google-Dataflow的工作，通常運行時間大約10-30分鐘。它今天早上還在運行。當查看堆棧驅動程序時，我看到一個作業日誌的重複循環：

I Refused to split GroupingShuffleReader <at position ShufflePosition(base64:AAAABOA3nVgAAQ) of shuffle range [ShufflePosition(base64:AAAAAAD_AP8A_wD_AAE), ShufflePosition(base64:AAAABOA3nVkAAQ))> at ShufflePosition(base64:AAAABOA3nVkAAQ) 
E Refusing to split <at position ShufflePosition(base64:AAAABOA3nVgAAQ) of shuffle range [ShufflePosition(base64:AAAAAAD_AP8A_wD_AAE), ShufflePosition(base64:AAAABOA3nVkAAQ))> at ShufflePosition(base64:AAAABOA3nVkAAQ): proposed split position out of range 
I Proposing dynamic split of work unit our-project-id;2017-09-26_09_29_26-14666853265610614017;1268593085087986642 at {"fractionConsumed":1.0,"position":{"shufflePosition":"AAAABOA3nVkAAQ"}} 
I Setting node annotation to enable volume controller attach/detach 

我現在取消了這個工作。在這項工作開始之前，我將工人的磁盤大小減少到了40GB，因爲我們的配額達到了10,240GB（!!!），超過了約1​​5個工作。我會將磁盤大小增加到100GB左右，但更多不應該是必需的。

有關如何解決此問題的任何建議，或者如何發生這種情況？這也將是有趣的這個錯誤是什麼真正的意思...

的作業ID：2017-09-26_09_29_26-14666853265610614017

步「ToElasticsearch」被顯示16小時之前，我取消了作業。在這一步中，每篇文章只有http-Posts到Elasticsearch

Answer 1

最可能的原因是你有一個熱鍵。具體來說，其中一個鍵產生大部分輸出。在這種情況下，工作並沒有很好地分配給可用的工作人員。您可以嘗試在單個輸入可能有多個輸出的步驟之後插入Reshuffle變換。這聽起來像在ReadArticlesFromDatastore步驟之後這樣做可能是正確的。