如何登錄Hadoop作業？

Question

如何登錄Hadoop作業？使用SLF4J和Logback，我需要什麼樣的配置才能在一個地方看到所有的日誌輸出？ Hadoop作業的STDOUT是否由JobTracker整理？

Answer 1

每個數據節點上的日誌目錄包含一個子目錄userlogs。這包含最近的地圖任務嘗試的子目錄。這是針對地圖任務的每個實例。由於任務嘗試在其名稱中包含作業ID，因此您可以找出由特定作業創建的日誌。

任務嘗試目錄包含的文件：

• 標準錯誤
• 標準輸出
• 系統日誌

其中包含了相應的輸出。

您可以從JobTracker Web-GUI訪問任務日誌，方法是從列出的Job中導航到其任務，單擊任務並選擇其輸出。