在Eclipse上開發Spark Java應用程序

我正試圖在Eclipse上開發Spark應用程序。在過去，我成功地在Eclipse上設置了Spark Scala項目。現在，我想在Eclipse上設置Spark Java應用程序。我假設我將需要以某種方式使用maven，但我不知道我應該如何使用它。任何幫助，將不勝感激。謝謝！在Eclipse上開發Spark Java應用程序

來源

2015-04-04 AndroidDev93

我最終按照從here爲Spark創建Java Maven項目的說明。之後，我通過從包含pom.xml的項目根目錄執行mvn eclipse:eclipse將Maven項目轉換爲Eclipse項目。

來源

2015-04-04 16:36:45 AndroidDev93

此外，最後一個步驟，我需要採取是火花集添加 - *。jar放到我的構建路徑。 +1 – 2015-12-05 09:30:31

您可以在Eclipse中創建您的項目作爲Maven項目，編輯pom並添加您需要的火花依賴關係（core, mllib, etc.），然後從提供的java spark examples開始，並根據您的問題擴展重構試着解決。如果您有更具體的問題，我會很樂意提供幫助。

來源

2015-10-13 09:19:59

附加以下的POM依賴關係，如果你使用的是火花流，卡夫卡等人

<dependency> 
      <groupId>org.apache.spark</groupId> 
      <artifactId>spark-core_2.10</artifactId> 
      <version>1.6.1</version> 
      <scope>provided</scope> 
     </dependency> 
     <dependency> 
      <groupId>org.apache.spark</groupId> 
      <artifactId>spark-sql_2.10</artifactId> 
      <version>1.6.1</version> 
      <scope>provided</scope> 
     </dependency> 
     <dependency> 
      <groupId>org.apache.spark</groupId> 
      <artifactId>spark-streaming_2.10</artifactId> 
      <version>$1.6.1</version> 
      <scope>provided</scope> 
     </dependency>

來源

2016-04-19 16:42:37 Saurabh

在Eclipse上開發Spark Java應用程序

回答

相關問題