Hadoop I/O密集型示例

Question

我想用幾個I/O密集型作業來測試我的Hadoop I/O性能。我知道基準TestDFSIO就是一個很好的例子。但我仍然想知道Hadoop是否還有其他良好的I/O密集型基準測試？

順便說一句，有沒有任何CPU密集型基準測試？

謝謝。

Answer 1

Hadoop在示例包中捆綁了一個Terasort基準測試。這主要是IO密集型的，可能適合您的需求。

Answer 2

Wordcount的目的是CPU密集型的，正如其他答案所述，Terasort是I/O密集型的。

您應該查看HiBench，這是英特爾的Hadoop基準測試套件。

HiBench使用許多現有的Hadoop基準測試，並且包含基準測試（如Wordcount（或Terasort））的準備腳本，因爲這些基準要求首先生成輸入數據。