Hadoop - 工作如何執行 - 需要一步一步解釋

-1

我正在學習hadoop。我試圖想象我提交工作後會發生什麼。我的意思是有人可以解釋一步一步發生什麼事，當我執行命令Hadoop - 工作如何執行 - 需要一步一步解釋

hadoop jar example.jar WordCount test.txt output

這個Java程序如何提交給JobTracker的。如何名稱節點，數據節點進入圖片等

感謝 Aniruddha

來源

2013-12-11 Aniruddha

試試這個，http://answers.oreilly.com/topic/459-anatomy-of-a-mapreduce-job-run-with-hadoop/ – user2486495

@Praveen我沒有得到你的問題。如果你的意思是我所做的解釋是在鏈接中給出的解釋是否正確？正如我指出的那樣，我要求幫助來形象化namenode，datanode和其他hadoop組件如何協同工作。而就目前而言，我依靠給定的鏈接提供正確的信息。目前，我正在學習HadoopBignnersGuide中的hadoop＆follow指令。要檢查namenode，jobtracker，tasktracker在做什麼，我正在瀏覽器上檢查它們的UI以及在作業運行時檢查日誌。有沒有其他方法可以在單機上試用？ – Aniruddha

在最高層次上，有四個獨立的實體：

的客戶，它提交MapReduce工作。

jobtracker，它協調作業運行。 jobtracker是一個Java應用程序，其主要類別爲JobTracker。

任務執行者，它運行作業已被分割成的任務。 任務跟蹤器是主要類爲TaskTracker的Java應用程序。

分佈式文件系統，用於在其他實體之間共享作業文件。

請通過下面的鏈接

http://answers.oreilly.com/topic/459-anatomy-of-a-mapreduce-job-run-with-hadoop/

來源

2013-12-11 10:10:13 user2486495

非常感謝鏈接和解釋。 – Aniruddha

快樂是我的快樂編碼:) – user2486495

Hadoop - 工作如何執行 - 需要一步一步解釋

回答

相關問題