2014-02-27 124 views
1

1 Tasktracker能運行多個JVM嗎?1 TaskTracker可以運行多個JVM嗎?

下面是情形:

假設有2個文件(A & B)和2層數據的節點(D1 & D2)。

當裝載A,假設它是越來越分成A1 & A2上D1 & D2 和當加載B,假設它是越來越分成上D1 & D2 B1 & B2。

出於某種原因,讓我們假設D1正忙於處理一些其他任務 和D2可用,有一對夫婦的工作被提交, 一個使用文件中的,另一種usign文件B.

所以現在D2可用並且具有塊A2 & B2。 JobTracker是否會將代碼提交給D2上的TaskTracker並且一次運行A2和B2的任務,或者 它會首先運行A2並在完成後運行B2?

如果是這樣,再次有可能並行運行這兩個任務,這意味着1任務跟蹤器和2個jvms,或者它會創建/產卵2在D2上的TaskTrackers?

回答

0

任務跟蹤器(TT)可以在單臺計算機上並行啓動多個映射或減少任務。默認情況下TT會啓動2個地圖(mapreduce.tasktracker.map.tasks.maximum)和2個reduce(mapreduce.tasktracker.reduce.tasks.maximum)任務。屬性必須在mapred-default.xml中配置。

1

默認情況下,Task Tracker爲每個任務生成一個JVM。 您可以通過設置此配置參數來重複使用jvms:mapred.job.reuse.jvm.num.tasks

相關問題