Hadoop JUnit測試從hdfs寫入/讀取hdfs

Question

我已經寫了一個可以寫入和讀取hdfs的類。給定這些類實例化時發生的某些條件，它們創建一個特定的路徑和文件，並寫入它（或者它們轉到先前創建的路徑和文件並從中讀取）。我已經通過運行一些hadoop作業來測試它，並且它似乎運行正常。但是，我希望能夠在JUnit框架中對此進行測試，但是我還沒有找到一個能夠在JUnit中測試讀寫hdfs的好方法。我希望在這個問題上提供有用的建議。謝謝。

Answer 1

我還沒有嘗試過這個，但我相信你在找什麼是org.apache.hadoop.hdfs.MiniDFSCluster。

它在hadoop-test-.jar NOT hadoop-core-.jar中。我猜Hadoop項目在內部使用它來測試。

這就是：

http://svn.apache.org/viewvc/hadoop/hdfs/trunk/src/test/hdfs/org/apache/hadoop/hdfs/MiniDFSCluster.java?revision=1127823&view=markup&pathrev=1130381

我認爲有很多在同一目錄的它的用途，但這裏是一個：

http://svn.apache.org/viewvc/hadoop/hdfs/trunk/src/test/hdfs/org/apache/hadoop/hdfs/TestWriteRead.java?revision=1130381&view=markup&pathrev=1130381