StreamingContext無法綁定到Java所使用的端口

Question

我已經啓動了Spark master和worker，並且可以輕鬆地在HDFS上運行類似於wordcount的MapReduce。

現在我想運行在文本流流，當我想拍一個新的StreamingContext 我有這樣的錯誤：

scala> val ssc = new StreamingContext("spark://master:7077","test", Seconds(2)) 
13/07/17 11:13:45 INFO slf4j.Slf4jEventHandler: Slf4jEventHandler started 
org.jboss.netty.channel.ChannelException: Failed to bind to: /192.168.2.105:48594 
    at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:298) 
.... 

我檢查了端口和使用了它的Java。我殺死了這個進程，然後我退出了Spark-shell。

有沒有什麼方法可以將StreamingContext的端口更改爲隨機自由端口？

Answer 1

Java是spark的基本過程（scala在jvm上運行）。有可能您有多個Spark/Spark串流運行副本。你可以看看嗎？

具體來說：如果我已經運行了一個spark-shell，我會得到相同的結果。

您可以檢查其他火花的過程：

ps -ef | grep spark | -v grep