2015-12-11 107 views
0

我正在嘗試將Hadoop的IGFS設置爲輔助存儲。我已經設置了我的配置here,但我一直收到NoClassDefFoundError s。我已經下載了Ignite的二進制發行版,並嘗試從源代碼構建,但不包括依賴項。 hadoop-common-2.6.0.jarignite-hadoop-1.4.0.jar提供了一些依賴關係,但現在我得到一個NoClassDefFoundErrororg/apache/hadoop/mapred/JobConf它通過我的理解是一個過時的類...Apache Ignite:IgniteHadoopIgfsSecondaryFileSystem的依賴關係是什麼?

我一直在關注的Apache點燃網站上的說明,但是,這是據我已經得到了。

IgniteHadoopIgfsSecondaryFileSystem作爲輔助存儲需要什麼依賴關係?

+0

我的Ignite版本是1.4.0,我的Hadoop版本是2.6 –

回答

1

看起來問題在於Ignite節點在類路徑中沒有Hadoop庫。要解決此問題,請嘗試執行以下操作:

1)使用Ignite發行版的「Hadoop Accelerator」版本(如果要自行構建發行版,請使用-Dignite.edition = hadoop)。如果您使用的是Apache Hadoop發行版,或者如果您使用其他發行版(HDP,Cloudera,BigTop等),確保存在/ etc/default/hadoop文件,則爲Ignite進程設置HADOOP_HOME環境變量並有適當的內容。

或者,您可以手動將必需的Hadoop依賴關係添加到Ignite節點類路徑:這些是文件modules/hadoop/pom.xml中列出的groupId「org.apache.hadoop」的依賴關係。目前,他們分別是:

  1. Hadoop的註解
  2. Hadoop的權威性
  3. Hadoop的共同
  4. Hadoop的HDFS
  5. 類Hadoop MapReduce的客戶共同
  6. 類Hadoop MapReduce的客戶端 - 核心
-1

如果你不想自己處理依賴管理 - 這是一個真正的難題手動做 - 我建議你看一下爲軟件棧提供編排和部署服務的項目。檢查Apache Bigtop(bigtop.apache.org),它爲Apache Ignite,Hadoop,HDFS和這個空間中的其他任何東西提供預先剪下的Linux軟件包。您可以從我們的CI獲取最新的每晚套餐http://ci.bigtop.apache.org/view/Packages/job/Bigtop-trunk-packages

相關問題