Hadoop - 瞭解處理步驟所需的幫助

Question

我有壓縮文件，它包含8個大小爲5-10kb的xml文件。我將這些數據用於測試目的。我寫了一個只有地圖的程序來解壓縮壓縮文件。我wrote program in MR2 and using Hadoop 2.7.1 in psuedo distributed mode。我使用sbin/start-dfs.sh命令啓動羣集。我能夠在幾秒鐘內在文件系統中看到解壓縮的輸出，但處理將繼續進行下一個5-6分鐘。我不知道爲什麼？

MR程序解壓縮文件到這個階段爲止，我可以查看/下載這些文件。

無法理解什麼樣的處理我的MapReduce程序是在這裏做。 I am using MR2 API in my code and why it is using MR1 API(mapred) here?當我有128mb的壓縮文件時，情況會變得更糟，它在5-10分鐘內解壓縮，其餘時間忙於執行其他任務。

我得到的表現令人無法接受，需要了解在第二個屏幕截圖中處理hadoop的過程。

請幫我瞭解它是安裝問題，我的程序問題還是其他問題？

Answer 1

這是一個配置問題，我解決這個文件在mapred-site.xml文件中的變化。

<configuration> 
<property> 
<name>mapreduce.framework.name</name> 
<value>yarn</value> 
</property> 
</configuration>