如何使用CDH4和Yarn查看我的Hadoop作業歷史記錄和日誌？

我用Yarn下載了Hadoop的CDH4 tar，作業運行良好，但我無法弄清楚從我的作業中查看日誌的位置。在MRv1中，我只是去了JobTracker網絡應用程序，它有工作的歷史。個人作業的日誌也可以從這裏訪問，或者轉到日誌/用戶日誌目錄。如何使用CDH4和Yarn查看我的Hadoop作業歷史記錄和日誌？

在我的新Yarn設置中（只在單個計算機上運行），我有日誌目錄，但沒有日誌/用戶日誌文件夾。

當我進入ResourceManager網頁localhost：8088時，會出現一個「所有應用程序」部分，但這裏沒有顯示任何條目。當我進入JobHistory網頁localhost：19888時，沒有列出任何工作。

我想知道是否有配置問題。以下是我的yarn-site.xml條目：

<property> 
    <name>yarn.nodemanager.local-dirs</name> 
    <value>/Users/dolan/cdh4/_hadoop_data/yarn/local</value> 
</property> 
<property> 
    <name>yarn.nodemanager.log-dirs</name> 
    <value>/Users/dolan/cdh4/_hadoop_data/yarn/logs</value> 
</property> 
<property> 
    <name>mapreduce.jobhistory.address</name> 
    <value>localhost:10020</value> 
</property> 
<property> 
    <name>mapreduce.jobhistory.webapp.address</name> 
    <value>localhost:19888</value> 
</property> 
<property> 
    <name>yarn.app.mapreduce.am.staging-dir</name> 
    <value>/user</value> 
</property>

有關調試內容的任何提示都非常感謝。

更新：我檢查了nodemanager日誌目錄，它是空的。另外，jobhistory目錄是空的。奇怪的是，Hadoop告訴我，INFO mapreduce.Job: The url to track the job: http://localhost:8080/，但是當我從瀏覽器嘗試時，該地址不可用。

更新＃2：我注意到，我運行的每個作業都有相同的作業ID（「job_local_0001」）。這似乎是某處的配置問題。

來源

2012-12-01 Dolan Antenucci

當使用hapoop-client java api時，我能夠解決同樣的問題。希望這可以幫助。 http://stackoverflow.com/questions/21345022/hadoop-is-not-showing-my-job-in-the-job-tracker-even-though-it-is-running –

聽起來這裏的工作是在本地運行，而不是在YARN上運行。爲了使運行紗線的作業，確保您在mapred-site.xml中有這樣的：

<property> 
    <name> mapreduce.framework.name</name> 
    <value>yarn</value> 
</property>

在一般情況下，你可能會通過電子郵件的CDH用戶的郵件得到這樣的問題更快的響應名單。

來源

2013-03-16 19:35:44

添加下面的配置到mapred-site.xml文件

<property> 
    <name> mapreduce.framework.name</name> 
    <value>yarn</value> 
</property> 
<property> 
    <name>mapreduce.jobhistory.address</name> 
    <value>localhost:10020</value> 
</property> 
<property> 
    <name>mapreduce.jobhistory.webapp.address</name> 
    <value>localhost:19888</value> 
</property>

，並刪除jobhistory具體的配置爲你放紗-site.xml中如。在yarn-site.xml的最後兩個配置上面

來源

2014-05-30 04:18:03 mehikmat

如何使用CDH4和Yarn查看我的Hadoop作業歷史記錄和日誌？

回答

相關問題