如何使用eclipse debug hadoop wordcount？

Question

我想使用eclipse調試wordcount，因爲我想看看job如何在JobTracker中運行。但hadoop使用Proxy，我不知道如何在JobTracker中運行的具體過程。我應該如何調試？

Answer 1

您最好在本地調試單節點羣集（例如Cloudera或Hortonworks提供的其中一個沙箱）：這種方式可以真正實現代碼，因爲只有一個映射器/縮減器在播放。至少這是我的方法：通常我要調試的問題是與特定文件的內容有關;我只是將相關文件複製到我的測試系統並在那裏調試。