Wordcount示例hadoop

Question

我是Hadoop的新手，並試圖通過其網站上的示例進行探索。因此，這聽起來像是一個非常基本的問題。

在Eclipse IDE中，我只是簡單地創建了一個java項目，導入了必要的hadoop jar和核心jar。然後，我運行了一個WordCount示例，該示例隨附可下載併成功運行。

但是，我沒有設置任何Hadoop安裝或單個節點羣集。

因此，我無法弄清楚，即使沒有在我的系統中配置hadoop，該作業如何運行。

我最初的理解是我需要安裝hadoop之類的東西，像Running Hadoop on Ubuntu Linux開始，但顯然這不是必要的。爲什麼？

Answer 1

這可能發生在作業只檢測本地文件系統的場景中，它使用LocalFileSystem API與本地文件系統中的文件進行交互。

請參考以下鏈接， Unit testing hadoop hdfs writings with MiniDFSCluster

這是選項進行單元測試，我們在開發發展的MapReduce/HDFS代碼environment.While您在Hadoop的部署clsuter相同的代碼之一，輸入文件將在HDFS位置預計。

Answer 2

這很可能是你運行一個內部測試或類似的東西（hadoop配置可以在內存中生成用於測試目的）。你應該安裝一個單節點集羣並開始做一些真實的事情，就像你之前引用的指南那樣。請記住檢查官方hadoop網站。