運行mapreduce hadoop工作時，應用程序在yarn UI中沒有顯示？

我正在使用Hadoop2.2。我發現我的工作都取得了成功。我可以瀏覽文件系統以查找輸出。但是，當我瀏覽http://NNode:8088/cluster/apps時，我無法看到迄今爲止已完成的任何應用程序（我運行了3個wordcount作業，但沒有一個在此處顯示）。運行mapreduce hadoop工作時，應用程序在yarn UI中沒有顯示？

是否需要考慮任何配置？

enter image description here

這裏是yarn-site.xml

<property> 
     <name>yarn.resourcemanager.hostname</name> 
     <value>NNode</value> 
    </property> 
    <property> 
     <name>yarn.nodemanager.aux-services</name> 
     <value>mapreduce_shuffle</value> 
    </property> 
<!-- 
    <property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
    </property> 
-->

這裏是mapred-site.xml：

<property> 
     <name>mapreduce.framework.name</name> 
     <value>yarn</value> 
    </property>

我已經工作歷史服務器上運行過：

jps 
4422 NameNode 
5452 Jps 
4695 SecondaryNameNode 
4924 ResourceManager 
72802 Jps 
5369 JobHistoryServer

來源

2014-07-01 brain storm

嘗試檢查hadoop日誌文件。你可能會在那裏發現警告或錯誤。但看起來你的datanode已關閉 – eliasah

@eliasah：datanode運行良好。我沒有在datanode上顯示'jps'。我上面顯示的是namenode（主）。 datanode運行良好，甚至我的工作都完成了。 –

@brainstorm你可以發佈wordcount作業的整個輸出嗎？所有的。 – climbage

申請完成後，其責任可能會轉移至Job History Server。因此請檢查Job History Server網址。它通常聽港口19888。例如。

http://<job_history_server_address>:19888/jobhistory

日誌目錄和日誌保留持續時間在yarn-site.xml配置。通過YARN，即使是一個人也可以將日誌聚合到單個（可配置）的位置。

有時，即使列出了應用程序，日誌也不可用（我不確定它是否由於YARN中的某個錯誤）。然而，幾乎每一次我能得到使用命令行日誌：-applicationId the_application_id

Athough有多種選擇

紗日誌。使用幫助信息：

紗日誌--help

來源

2015-05-14 19:07:46 Vasu

你可以參考Hadoop is not showing my job in the job tracker even though it is running

    conf.set("fs.defaultFS", "hdfs://master:9000"); 
        conf.set("mapreduce.jobtracker.address", "master:54311"); 
        conf.set("mapreduce.framework.name", "yarn"); 
        conf.set("yarn.resourcemanager.address", "master:8032");

我在羣集中測試。有用！

來源

2015-09-11 16:40:51

運行mapreduce hadoop工作時，應用程序在yarn UI中沒有顯示？

回答

相關問題