即使第一次嘗試仍在運行，什麼會導致hadoop啓動第二項任務嘗試？

我正在使用Amazon EMR（Hadoop 0.20.205），並注意到我的其中一項任務處於奇怪狀態（請參閱下文）。即使我的第一次嘗試仍在運行，第二項任務嘗試也已啓動。我的其他任務都完成了一個任務嘗試。可能是什麼原因？即使第一次嘗試仍在運行，什麼會導致hadoop啓動第二項任務嘗試？

+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ 
    |   Task Attempts    | Machine      | Status | Progress | Start Time   | Shuffle Finished     | Sort Finished    | Finish Time | Errors | Task Logs | Counters | Actions | 
    |--------------------------------------+-----------------------------+---------+----------+----------------------+-------------------------------------+-----------------------------+-------------+--------+-----------+----------+---------| 
    |          |        |   | 66.69% |      |          |        |    |  | Last 4KB |   |   | 
    | attempt_201209121354_0021_r_000017_0 | /default-rack/xxx...  | RUNNING |   | 13-Sep-2012 13:10:28 | 13-Sep-2012 13:16:48 (6mins, 19sec) | 13-Sep-2012 13:16:58 (9sec) |    |  | Last 8KB | 0  |   | 
    |          |        |   | +------+ |      |          |        |    |  | All  |   |   | 
    |          |        |   | +------+ |      |          |        |    |  |   |   |   |   
    |--------------------------------------+-----------------------------+---------+----------+----------------------+-------------------------------------+-----------------------------+-------------+--------+-----------+----------+---------| 
    |          |        |   | 66.69% |      |          |        |    |  | Last 4KB |   |   | 
    | attempt_201209121354_0021_r_000017_1 | /default-rack/xxx...  | RUNNING |   | 13-Sep-2012 13:14:55 | 13-Sep-2012 13:18:58 (4mins, 3sec) | 13-Sep-2012 13:19:00 (2sec) |    |  | Last 8KB | 0  |   | 
    |          |        |   | +------+ |      |          |        |    |  | All  |   |   | 
    |          |        |   | +------+ |      |          |        |    |  |   |   |   |   
    +--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

來源

2012-09-13 Enno Shioji

Hadoop默認使用speculative execution。它將啓動兩個相同任務的實例，一旦完成，它將殺死尚未完成的任務。任務完成後，Web UI通常會從作業的網頁中刪除推測性任務（至少在20.2中）。

來源

2012-09-13 14:40:01

啊哈！謝謝！ –

首先，您開啓了推測性執行（如Matt所示，默認情況下已啓用）。現在，例如，如果您的Hadoop服務器不均等，並且其中一些比其他更新/更快，則推測性執行非常有用。

在我們以前的Hadoop集羣中，我看到很多情況下第二個實例比原來的完成得更快。

來源

2012-09-14 09:54:10

即使第一次嘗試仍在運行，什麼會導致hadoop啓動第二項任務嘗試？

回答

相關問題