2017-07-21 124 views
0

我有一個設置了3個節點的flink集羣。在Web界面中,我看到3個任務管理器,3個任務插槽和3個可用任務插槽。Flink python作業執行失敗

我試圖運行一個簡單的字數,並且它非常確定性地失敗了三次。我假設它每次都沒有在master上運行時就會失敗。

這裏是我的flink-conf.yamlword_count.py文件。

我得到的例外是:

Caused by: java.lang.RuntimeException: Plan file caused an error. Check log-files for details.python: can't open file '/data/tmp/flink/flink-dist-cache-9fc4a122-1f21-4930-a998-db31129b4596/a68369119ce030c8ca4a0b98aeb39387/flink_dc/plan.py': [Errno 2] No such file or directory 

(與堆棧跟蹤完整實施here。)

我檢查所有文件夾和他們都有一個rwx權限。

有沒有人有一個想法我做錯了什麼?

+0

其弗林克版本您使用的?您可能必須將python.dc.tmp.dir參數設置爲指向某個文件系統位置,該位置可由所有節點訪問(如hdfs)。 –

+0

@ChesnaySchepler就是這樣!謝謝!你可以發佈它作爲答案,所以我可以接受它。另外,您是否知道在哪裏可以找到「隱藏/未記錄」配置變量列表? :) –

回答