Hadoop日誌文件丟失

Question

來自舊版本的Hadoop，我在Hadoop 2.2.0中查找用戶日誌文件（log.index，stderr，stdout，syslog）。我首先查找了Web界面，但沒有任何端口在50030上運行。然後，我查看了HADOOP_HOME_DIR/logs，但沒有看到userlogs目錄，也沒有看到任何jobnumber。 NEX位置我看是臨時目錄（/ tmp目錄），並發現看起來像它的文件夾：

$ find . -name "job_local1643076800_0001" 
./hadoop-tom/mapred/staging/tom1643076800/.staging/job_local1643076800_0001 
./hadoop-tom/mapred/local/localRunner/tom/jobcache/job_local1643076800_0001 
./hadoop-tom/mapred/local/localRunner/tom/job_local1643076800_0001 

在這裏，我發現在目錄我預想的格式爲： attempt_local1643076800_0001_m_000000_0 但它們都是空的。

我也設置了"export HADOOP_LOG_DIR=/path"，但是這也沒有填滿。我在這裏失蹤的任何東西？或者當我從源代碼創建hadoop時出錯了？

在此先感謝！

Answer 1

hadoop 2.2.0中的默認mapreduce框架是YARN。 50030端口是JobTracker的WebUI中，紗代替的JobTracker它使用資源管理器，其WEBUI是被作爲localRunner執行，這意味着無論是從客戶端在8088

在你的情況的工作訪問，紗線配置不正確或YARN服務下降。驗證您的配置。

Answer 2

用戶日誌應位於logs文件夾下的文件夾userlogs下。所以像hadoop-2.2.0/logs/userlogs/。檢查jps命令以查看是否有所需的進程正在運行 - 可能不是。如果沒有，請檢查您的日誌（不是用戶日誌）是否有錯誤，並檢查您的配置。

如果你的進程沒有運行，我想知道你是如何設法運行一些工作的。你的工作做得好嗎？