SparkContext初始化錯誤：斯卡拉

我使用以下運行命令運行的火花：SparkContext初始化錯誤：斯卡拉

spark-submit --class "Pagecounts" --master local[*] target/scala-2.11/Pagecounts-assembly-0.1-SNAPSHOT.jar <some_file_name>

但我得到以下初始化錯誤：

Using Spark's default log4j profile: org/apache/spark/log4j- defaults.properties                        
16/10/01 18:26:09 INFO SparkContext: Running Spark version 2.0.0                            
16/10/01 18:26:12 WARN NativeCodeLoader: Unable to load native-hadoop library  for your platform... using builtin-java classes where applicable        
16/10/01 18:26:13 ERROR SparkContext: Error initializing SparkContext.                          
java.net.UnknownHostException: linux-21ql.site: linux-21ql.site: unknown error

可有人請這個問題的幫助？

來源

2016-10-01 sarthak

檢查你的'/ etc/hosts'文件。看起來localhost沒有被正確解析。 [這個答案]（https://stackoverflow.com/questions/37378763/java-net-unknownhostexception-in-while-running-play-framework-activator）處理類似的問題。 –

謝謝......它工作:) – sarthak

我認爲你不能本地部署這個應用程序是這樣，因爲罐子需要火花的環境下運行火花應用程序，但這裏的本地[]沒有，所以如果你想當地在SparkConf對象[]本地運行的應用程序，然後簡單地設置主像下面

val conf = new SparkConf().setMaster("local[*]")

或者，如果你想要像上面運行火花提交您應該創建本地羣集這裏https://blog.knoldus.com/2015/04/14/setup-a-apache-spark-cluster-in-your-single-standalone-machine/

給出類似上面你提到的只是改變主值與火花部署的jar：// IP ：PORT

來源

2016-10-01 18:09:56

SparkContext初始化錯誤：斯卡拉

回答

相關問題