如何在Windows上安裝火花7

我現在處於實習崗位，並且有權限訪問系統中的下載/安裝。我的問題是如何在Windows 7上安裝Apache spark（我總是通過Hortonwork將它用於虛擬機，但在實習中我無權安裝虛擬機或Hortonworks）。我在論壇中搜索了更多，我認爲我可以使用Eclipse，導入spark並安裝scala IDE（scala是Spark的首選語言），但我無法到達解決方案。如何在Windows上安裝火花7

你能給我任何建議或想法嗎？

來源

2017-03-17 sirine

我用這個指南，它工作得很好。

www.ics.uci.edu/~shantas/Install_Spark_on_Windows10.pdf

來源

2017-03-17 15:26:12 atalpha

如果你想從你的IDE（Eclipse或的IntelliJ）推出以本地模式火花的工作，只是：

下載IDE
下載相應的插件斯卡拉
下載SBT插件
創建SBT項目

在build.sbt添加星火依賴關係：

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0" 
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.1.0"

然後，您可以編寫一個名爲Main.scala Scala的主類：

object Main { 

    def main(args: Array[String]): Unit = { 

     val spark = SparkSession 
     .builder() 
     .master("local") 
     .appName("HbaseWriteTest") 
     .getOrCreate() 

     ... 
    } 
}

執行主類，它會執行本地模式下的Spark作業。

後，如果你想你的本地計算機上運行一個Spark集羣，您可以按照這裏的官方文件：https://spark.apache.org/docs/latest/spark-standalone.html

來源

2017-03-17 16:00:26

我下載了IDE Eclipse和斯卡拉，但是當我通過幫助增加它 - >安裝新的軟件，它顯示很多像這樣的錯誤：正在安裝的軟件：Scala Search 0.2.5.v-2_11-201505250900-dd17080（org.scala.tools.eclipse.search.feature.feature.group 0.2.5.v-2_11-201505250900-dd17080 ）缺少要求：Scala重構0.6.3.2_11-201410271313-539abd5（org.scala-refactoring.library 0.6.3.2_11-201410271313-539abd5）需要'bundle org.junit 4.11.0'但它找不到 – sirine

I不知道它從哪裏來。也許你可以試試Intellij。這是我用於Scala/Spark的，它運行良好。 –

如何在Windows上安裝火花7

回答

相關問題