多節點Hadoop集羣中的HDFS壓力測試

Question

我已經設置了一個多節點Hadoop集羣。我打算在不使用MR的情況下測試HDFS的性能。 Hadoop測試jar中是否有這樣的基準？

感謝

Answer 1

TestDFSIO：

1. 默認輸出目錄是/基準/ TestDFSIO
前
2. 運行寫測試讀取測試

用於運行寫的語法測試如下：

TestDFSIO.0.0.4 
Usage: hadoop jar $HADOOP_HOME/hadoop-*test*.jar TestDFSIO -read | -write | -clean [-nrFiles N] [-fileSize MB] [-resFile resultFileName] [-bufferSize Bytes] 

例如：運行產生大小1GB的10個輸出文件總共10GB的寫入測試的命令是：

$ hadoop jar hadoop-*test*.jar TestDFSIO -write -nrFiles 10 -fileSize 1000

類似地，使用尺寸爲1GB 10個輸入文件讀取測試是：

$ hadoop jar hadoop-*test*.jar TestDFSIO -read -nrFiles 10 -fileSize 1000 

清理並使用移除測試數據：$ hadoop jar hadoop-*test*.jar TestDFSIO -clean

個口譯TestDFSIO結果：

樣品：

----- TestDFSIO ----- : write 
      Date & time: Fri Apr 08 2011 
     Number of files: 1000 
Total MBytes processed: 1000000 
    Throughput mb/sec: 4.989 
Average IO rate mb/sec: 5.185 
IO rate std deviation: 0.960 
    Test exec time sec: 1113.53 

----- TestDFSIO ----- : read 
      Date & time: Fri Apr 08 2011 
     Number of files: 1000 
Total MBytes processed: 1000000 
    Throughput mb/sec: 11.349 
Average IO rate mb/sec: 22.341 
IO rate std deviation: 119.231 
    Test exec time sec: 544.842 

最顯着的位置指標吞吐量MB /秒和平均IO速率MB /秒。

Source