Hadoop slowstart配置

Question

Hadoop作業的「mapred.reduce.slowstart.completed.maps」的理想值是什麼？遵循什麼規則來適當地設置它？

謝謝！

Answer 1

這取決於很多你的工作，集羣的特點和利用：

1. 多少映射插槽將你的工作需要VS最大的地圖容量：如果您有滋生的地圖任務1000的工作，但總共只有10個地圖插槽（這是一個極端的例子），那麼儘早啓動你的reducer可能會減少執行任務的執行次數。在這種情況下，我會設置你的slowstart爲一個很大的值（0.999或1.0）。如果您的映射程序需要完成一個時間，則也是如此 - 讓其他人使用這個縮減程序

2. 如果您的羣集負載相對較輕（沒有爭用減速機時隙），並且您的映射器輸出的卷數據，那麼慢速啓動的低值將有助於讓您的工作更早完成（同時執行其他地圖任務，將地圖輸出數據移動到減速器）。

可能有更多