Hadoop CDH4和Eclipse Juno

Question

有沒有人成功地爲Juno構建一個針對CDH4安裝的eclipse插件？

我見過CDH3全網。尋找CDH4。 非常感謝。

Answer 1

我不確定您是指Hadoop Eclipse插件還是插件來開發針對CDH4的代碼。我會回答這兩個問題。到目前爲止，在Eclipse（任何版本）中針對CDH4組件編寫應用程序的最簡單方法是使用m2eclipse [1]並將Cloudera Maven存儲庫添加到您的pom.xml中。事實上，Cloudera（包括我自己）中的很大一部分人經常這樣做。最近，我們的一位工程師（Natty）寫了一篇關於開始使用CDH4，Maven和Eclipse [2]（以及其他IDE）的好博客文章。否則，除了使用JAR外，沒有什麼特別的要求可以針對CDH4編寫應用程序。你也可以在這裏瀏覽Cloudera Maven倉庫[3]。

Hadoop插件： 很久以前，Eclipse的一個插件已經存在，允許執行MR作業和其他一些位。然而，它在很長一段時間內一直沒有得到維護（至少有兩三年的時間）。我認爲任何人都不會更新它與Juno合作 - 更不用說Juno了。

希望這會有所幫助。

[1] http://bit.ly/UUGmlB [2] http://bit.ly/O6rkp6 [3] http://bit.ly/UUGwcC

Answer 2

我接着在發現操作的指令：http://iredlof.com/part-4-compile-hadoop-v1-0-4-eclipse-plugin-on-ubuntu-12-10/

系統：本地：視窗7時，Eclipse朱諾（4.2.2），hadoop的-1.2.1。遠程：具有相同hadoop版本的Debian 7.1。

我應該提一下，我建立了針對新鮮地從apache下載的香草hadoop-1.2.1的插件。

不是所有的插件都可以工作：我可以添加新的MR位置（在我的情況下是遠程），我可以從DFS瀏覽/上傳/下載/刪除文件，但是我無法運行我的代碼（使用Run as ..運行到Hadoop）。控制檯寫入「ClassNotFoundException：WordCountReducer」

一個好消息是eclipse生成的jar可以手動上傳到MR master並從命令行啓動。

Answer 3

您可以在此GitHub存儲庫中獲得Hadoop Eclipse插件。 https://github.com/winghc/hadoop2x-eclipse-plugin。

這裏的一篇文章介紹瞭如何整合CDH5和Eclipse Luna。 http://speedy-elephant.blogspot.com/2015/08/the-real-getting-started-guide-cloudera.html