如何使用的Spark與HiveContext

Question

我是新來spark.I想使用HiveContext在sparkSQL訪問窗口functions.But我給這個時候，

import org.apache.spark.sql.hive.HiveContext 

我得到以下錯誤：

error: object hive is not a member of package org.apache.spark.sql

我找到了需要在build.sbt文件中包含以下依賴項的解決方案。

libraryDependencies += "org.apache.spark" %% "spark-hive" % "1.5.2 

但我不知道，我應該在哪裏找到火花 ，我應該改變這種build.sbt文件，

/home/cloudera/spark-1.5.2/build/sbt 

（或）

/home/cloudera/spark-1.5.2/sbt/sbt 

（或）

/home/cloudera/spark-1.5.2/project/plugins.sbt 

請幫幫我在build.sbt文件中添加依賴關係。

Answer 1

要使用Hive支持構建Spark，不需要對構建定義進行任何更改。只是確保您激活所需的型材

• Maven的

  mvn -Phive -Phive-thriftserver -DskipTests ... clean package 
  

• SBT

  build/sbt -Phive -Phive-thriftserver ... assembly 
  

，因爲只有當你建立自己的項目的依賴，需要添加spark-hive。

此外，請不要從Spark下載頁面獲得的預構建（spark-[SPARK-VERSION]-bin-hadoop[HADOOP-VERSION].tgz文件）二進制文件已經使用Hive支持構建。