2014-01-31 97 views
0

我通過oozie運行map-reduce作業。我使用的命令如下。運行oozie時Hadoop日誌

oozie job -verbose -oozie http://myoozieurl -config job.properties -run 

如何查看由hadoop作業生成的日誌?有沒有一種方法可以查看生成的日誌或者重新將日誌打印在終端窗口上?

如果我使用(MapR)hadoop命令運行作業,我可以在終端上看到日誌命令的輸出。

hadoop和oozie的新手。所以這可能是一個新手監督。

回答

0

這篇文章介紹瞭如何在日誌MapReduce作業的管理

https://discuss.zendesk.com/hc/en-us/articles/201925118

一旦作業已經完成了節點管理器將保持日誌爲$ {yarn.nodemanager.log.retain秒每個容器}默認情況下爲10800秒(3小時),過期後刪除。但是如果啓用$ {yarn.log-aggregation-enable},那麼NodeManager會立即將所有容器日誌連接成一個文件,並將它們上傳到$ {yarn.nodemanager.remote-app-log-dir}/$中的HDFS中{user.name}/logs /並從本地userlogs目錄中刪除它們。日誌聚合在PHD中是默認啓用的,它使得日誌收集變得方便。

啓用日誌聚合時的示例。我們知道在這個mapreduce作業中執行了4個容器,因爲「-m」指定了3個映射器,而第四個容器是應用程序主控器。每個NodeManager至少有一個容器,所以他們都上傳了一個日誌文件。

[gpadmin @ HDM1〜] $ HDFS DFS -ls /紗線/應用/ gpadmin /日誌/ application_1389385968629_0025/ 實測值3項 -rw-R ----- 3 gpadmin的hadoop 4496 2014年2月1日16 :54 /yarn/apps/gpadmin/logs/application_1389385968629_0025/hdw1.hadoop.local_30825 -rw-r ----- 3 gpadmin hadoop 5378 2014-02-01 16:54/yarn/apps/gpadmin/logs/application_1389385968629_0025 /hdw2.hadoop.local_36429 -rw-r ----- 3 gpadmin hadoop 1877950 2014-02-01 16:54/yarn/apps/gpadmin