Hadoop + Spark - 一旦應用程序將正確啓動一次將顯示錯誤

我有一個文件，有40 000行，在每一行中單個字，彼此。Hadoop + Spark - 一旦應用程序將正確啓動一次將顯示錯誤

我開始的Hadoop，主人，奴隸 - 一切正常：

start-dfs.sh;start-yarn.sh;/opt/spark/sbin/start-master.sh;/opt/spark/sbin/start-slaves.sh

我運行示例應用程序，它計算的話：

/opt/spark/bin/spark-submit --class org.apache.spark.examples.JavaWordCount --deploy-mode cluster --master yarn --driver-memory 2g --executor-memory 2g /opt/spark/examples/jars/spark-examples_2.11-2.0.0.jar hdfs://hadoop-master:9000/input/outputData.fcs

，我有問題：一旦應用程序將正常啓動並顯示結果，一旦顯示錯誤（並且我不會在重新啓動之間進行任何更改）：

ERROR shuffle.RetryingBlockFetcher: Exception while beginning fetch of 1 outstanding blocks 
java.io.IOException: Failed to connect to iws2/172.29.77.40:43688

Link to full log with error

我不知道什麼是錯的。下面我的配置文件：

yarn-site.xml

所有奴隸和主人在文件中的「主人」，「奴隸」設置correctry。

來源

2016-08-19 DamianOS.MP5

感謝您的回覆。

文件從/選擇/的hadoop/hadoop的在/ etc /的hadoop /（它們是在主站和從站相同）：

core-site.xml

hdfs-site.xml

mapred-site.xml

一個文件，我已在Spark中進行了修改（/ opt/spark/conf /;它在主站和從站上相同）：

spark-env.sh

而且hosts文件：

/etc/hosts

文件「主」和「奴」的所有節點上是相同的： slaves， master。

我不知道問題在哪裏。

編輯：

我在能力調度改變。XML：

<property> 
    <name>yarn.scheduler.capacity.maximum-am-resource-percent</name> 
    <value>1</value> 
    </property>

和紗的site.xml：

<property> 
    <name>yarn.nodemanager.vmem-pmem-ratio</name> 
    <value>2.1</value> 
    </property>

現在，它的作品！

第二選項：我改變了輸入文件。

也許這對別人有用。

來源

2016-08-22 07:24:23

不客氣。但是，答案部分不適用於問題。很高興它的工作。你是否想讓我用解決方案更新我的答案（這樣你就可以接受它），或者你想做其他事情？ – gsamaras

的錯誤狀態：

無法連接到iws2/172.29.77.40：43688

結果是網絡問題。確保您的羣集已正確配置並開始查看有關此信息。

希望這會有所幫助。

來源

2016-08-19 19:05:00 gsamaras

Hadoop + Spark - 一旦應用程序將正確啓動一次將顯示錯誤

回答

相關問題