Spark驅動程序無法在羣集中啓動

我正在使用SparkLauncher〜將任務提交給Spark羣集，SparkLauncher將在其中一個工作節點上啓動Spark驅動程序。但驅動程序啓動總是失敗，這種異常出現16次：Spark驅動程序無法在羣集中啓動

level="WARN",threadName="main",logger="org.apache.spark.util.Utils",message="Service 'Driver' could not bind on port 0. Attempting port 1."

有沒有人有任何想法？

來源

2016-04-29 K P

端口號看起來不正確，您可以通過spark.driver.port – tesnik03

更改端口號後，我把這個值隨機端口，它的工作。謝謝！奇怪的是，根據https://spark.apache.org/docs/latest/configuration.html「spark.driver.port \t（隨機）」應該是隨機的，但它一直在選擇0.我沒有設置它當然。你可以添加你的評論作爲答案，以便它可以被接受？ –

已添加，謝謝！ – tesnik03

他端口號看上去不正確，則可以通過spark.driver.port改變

來源

2016-04-29 11:13:38 tesnik03

我終於想通了。如果你從啓動作業的機器上設置環境變量SPARK_LOCAL_IP = 0.0.0.0，它似乎可以解決它。根據文檔，它將選擇一個隨機端口讓驅動程序在集羣中的任何工作節點上運行。根據@yyny的評論，如果你想修復驅動程序的端口，你可以使用「spark.driver.port」。

來源

2016-04-29 19:24:19

不錯，多數民衆贊成！ – tesnik03

你能接受我的回答嗎？ –

其實我無法做到，因爲這是你自己的答案，但我給了你一個答案。 – tesnik03

Spark驅動程序無法在羣集中啓動

回答

相關問題