將Apache Spark添加到Eclipse Maven項目中的問題

我試圖將Apache Spark MLlib添加爲Eclipse中Maven項目的依賴項。我有Maven插件，因此添加依賴關係通常與輸入地址一樣簡單（甚至不必觸摸pom.xml）。當我試圖添加MLlib，我得到了錯誤：將Apache Spark添加到Eclipse Maven項目中的問題

「的存檔所需的庫（火花核心罐子的位置）不能被讀取或不是有效的zip文件」

所以我去了，並添加那個jar也是一個依賴項，但是錯誤依然存在，只是有不同的jar包（hadoop是下一個，然後是snappy-java等），需要添加越來越多的依賴項。最後，我似乎已經添加了所有必需的依賴，但錯誤只是環回到Hadoop的一個：

「的存檔所需的庫（Hadoop的罐子的位置）無法讀取......」

當我試圖刪除並重新添加這些，它只是繼續遍歷所有這些。我對Maven很新，所以也許我錯過了一些重要的東西，但我很困惑。

來源

2014-08-31 David Brookes

來吧夥計們，這似乎是一個合理的問題 - 因此有點苛刻downvote。 – javadba 2014-09-16 06:43:05

您還沒有分享過您的pom.xml文件，看起來您並不想編輯它。總之，要確保以使用MLlib必須具備以下依賴添加到您的應用程序的pom.xml：

<dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-mllib_2.10</artifactId> 
     <version>1.1.0</version> 
    </dependency>

來源

2014-09-19 12:05:10 Anas

將Apache Spark添加到Eclipse Maven項目中的問題

回答

相關問題