Hadoop的泊塢窗設置 - 字計數教程

我下面的教程運行WordCount.java在here提到的，當我運行下面一行教程Hadoop的泊塢窗設置 - 字計數教程

hadoop jar wordcount.jar org.myorg.WordCount /user/cloudera/wordcount/input /user/cloudera/wordcount/output

我碰到下面的錯誤 -

17/09/04 01:57:29 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 
17/09/04 01:57:30 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

我使用的碼頭圖像是docker pull cloudera/quickstart

沒有使用Docker的Hadoop設置教程，所以如果你覺得它會有幫助ld告訴我要克服這些問題的配置。

來源

2017-09-04 Naveen Dennis

該教程假定您處於羣集中，並且可以使用Hadoop客戶端命令，啓動Hadoop服務並進行正確配置。

0.0.0.0:8032是the default YARN resource manager，所以你需要配置HADOOP_CONF_DIR XML文件（特別yarn-site這個錯誤）在紗線的正確地址泊塢窗容器點。 core和hdfs-site也需要配置爲指向HDFS。

來源

2017-09-04 15:35:36

有沒有辦法找出哪個IP和端口被使用？我在哪裏配置這些設置 - 因爲有多個yarn-site.xml文件？ –

應該只有一個紗線站點文件。除非你已經從容器中正確地暴露了YARN，HDFS等的端口，否則IP或主機名是docker容器。否則，這是你的本地主機 –

我假設你的答案是正確的。我能解決它碼頭運行--hostname = quickstart.cloudera --privileged = true -t -i -p 8888 cloudera/quickstart/usr/bin/docker-quickstart。 -p選項被稱爲「建議」，但不是必需的，但從這種體驗中，我相信如果有人想遵循本教程，至少需要這樣做。 https://www.cloudera.com/documentation/other/tutorial/CDH5/topics/ht_usage.html。請添加這些額外的細節，以便我可以接受你的答案。 –

Hadoop的泊塢窗設置 - 字計數教程

回答

相關問題