亞馬遜彈性MapReduce：推出地圖任務

Question

的一個MapReduce工作流步數在「系統日誌」，我看到以下內容：

Job Counters 
    Launched reduce tasks=4 
    Launched map tasks=39 

是否推出地圖任務的數量包括失敗的任務？

我使用NLineInputFormat類作爲輸入格式來管理地圖任務的數量。 但是，我偶爾會得到完全相同輸入的略微不同的數字，或者取決於實例的數量（10,15和20）。

誰能告訴我爲什麼我看到不同數量的任務啓動？

Answer 1

這很可能是投機執行。當Hadoop具有可用資源時，它可能會選擇同時運行同一任務的兩次嘗試。啓動的任務包括啓動的所有任務，而不管它們以後是否成功，失敗（由於例外），或者被殺死（由於管理員干預或推測性執行，在「更快」任務完成後，殺死「較慢」任務）。

您的總任務 - 失敗 - 死亡可能會在運行之間相同。

希望這會有所幫助。