在Maven項目使用HiveContext

我已經建立了火花1.2.1使用Maven使用以下命令啓用蜂巢支持： mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -DskipTests clean package在Maven項目使用HiveContext

這導致/spark-1.2.1/core/target/scala-2.10/classes文件夾中生成現在

如何做一些類文件我在我的Eclipse + Maven項目中使用這個新建的Spark？我想在Eclipse中使用Spark-SQL的HiveContext類。

來源

2015-03-08 BludShot

當您要在java程序中使用SparkSQL時，您可以簡單地將相應的依賴添加到您的maven項目中，並且您可以使用所需的分類。通過配置單元支持構建火花使您能夠啓動具有蜂巢支持的火花守護程序。它生成一個需要複製到所有Spark工作節點的組裝jar。有關詳細信息，請參閱here

Maven依賴於越來越HiveContext工作：

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-core_2.10</artifactId> 
    <version>1.2.1</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-sql_2.10</artifactId> 
    <version>1.2.1</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-hive_2.10</artifactId> 
    <version>1.2.1</version> 
</dependency>

來源

2015-03-09 02:36:54 vikas

但是當我嘗試使用'MVN斯卡拉編譯：compile'，我收到此錯誤：錯誤：對象蜂巢不包的成員org.apache.spark.sql – BludShot 2015-03-09 12:40:27

使用您的原始命令mvn -Pyarn -Phadoop-2.4 -Dhadoop.version = 2.4.0 -Phive -DskipTests clean包並將生成的jar複製到worker節點的lib目錄中 – vikas 2015-03-10 14:14:26

感謝vikas ，但如果滿足所有的依賴關係，它至少應該讓我編譯項目。最重要的問題是我的Eclipse無法識別'org.apache.spark.sql.hive'包，即使我在pom中提到了Spark SQL依賴關係。你能指出我在哪裏工作節點的lib目錄？ – BludShot 2015-03-12 01:18:52

在Maven項目使用HiveContext

回答

相關問題