我在HortonWorks virtualbox中運行mapreduce作業。在方法Map()
中,我使用System.out.println("xx")
但我找不到打印的文字。如何查看在執行hadoop作業期間打印的東西
從 How to print on console during MapReduce job execution in hadoop我知道我可以找到登錄jobtracker web控制檯。
但我不知道在哪裏可以找到jobtracker web控制檯。
我該怎麼做?
我在HortonWorks virtualbox中運行mapreduce作業。在方法Map()
中,我使用System.out.println("xx")
但我找不到打印的文字。如何查看在執行hadoop作業期間打印的東西
從 How to print on console during MapReduce job execution in hadoop我知道我可以找到登錄jobtracker web控制檯。
但我不知道在哪裏可以找到jobtracker web控制檯。
我該怎麼做?
該主題是4年前。 JobTracker和TaskTracker(MRv1)已轉換爲Application Master和ResourceManager(MRv2:YARN)。您可以在ResourceManager web ui中的http://localhost:8088/
中查看您的作業狀態。
輸出(從記者或調用println)通常會在任務日誌在HistoryServer打印哪些通過這個網址可用:http://localhost:19888/jobhistory/job/job_xxxxxxxxxx
PS:如果你使用的是舊版本的Hadoop,你的輸出將通過提供JobTracker web ui:http://localhost:50030/jobtracker.jsp
(點擊完成的工作 - >點擊地圖或減少任務 - >點擊tasknumber->任務日誌 - > stdout日誌。)
謝謝Mobin回答我的問題,讓我添加一個答案我的問題。 除了Mobin給出的解決方案之外,我發現了另一種檢查Hadoop作業日誌的方法。 命令:yarn logs -applicationId {applicationId}
可以顯示保存在應用程序歷史記錄服務器中的hadoop作業日誌,包括stderr,stdout和syslog。由System.out.println()語句打印的內容保存在標準輸出中。
謝謝你,莫賓,你幫了很大忙。 – Frankie