問題，同時打開星火殼

$火花殼

，但得到警告打開火花。如何解決它。

警告：

WARN util.Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.

來源

2016-12-06 animal

這些端口是否空閒？你能檢查一下嗎？你在後臺有其他的Spark進程嗎？請同時提供配置代碼 –

不，它們不是免費的。我如何讓他們自由？ – animal

臨時選項：殺死進程。但要調查發生了什麼，我們必須看到你的代碼，也許有一些問題 –

默認情況下，星火會嘗試綁定端口4040 你的情況已經有上4040

運行的火花過程以下消息ISN不是錯誤的火花將在端口4041上運行：

WARN util.Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.

從Spark Documentation：

每個SparkContext都會啓動一個Web UI，默認情況下在端口4040上顯示顯示有關應用程序的有用信息。這包括：

如果多個SparkContexts在同一主機上運行，它們將綁定到從4040（4041,4042等）開始的連續端口。
在命令提示符下

[Hadoop的@本地〜] $火花殼--conf spark.ui.port = 4041

默認情況下，火花運行的時候，你可以隨時更改

來源

2016-12-07 14:32:26

是的，我明白了。我也更新了我的評論。但是當兩個端口都很忙時，解決方案是什麼。在我的情況下，由於兩個端口都很忙，所以shell被卡住了。 – animal

如果4040和4041正忙，它將綁定到4042,4043 ... –

沒有任何事情發生它卡在那裏。 – animal

星火端口遇到4040

來源

2017-10-15 13:09:44

問題，同時打開星火殼

回答

相關問題