火花斯卡拉連接

Question

在連接使用斯卡拉火花的情況。以前我沒有Scala的經驗，並且使用Python和Spark結合。

所以對於Python的連接做這樣的：

import findspark 
import pyspark 
findspark.init('/Users/SD/Data/spark-1.6.1-bin-hadoop2.6') 
sc = pyspark.SparkContext(appName="myAppName") 

再編碼的過程就開始了。

所以我的問題是 - 我怎麼能建立使用斯卡拉方言星火連接？

謝謝！

Answer 1

無論Python或階的，下面的步驟是常見的

1. 使罐子提供給您所使用的語言（蟒蛇路徑斯卡拉Python和SBT進入）

斯卡拉

name := "ProjectName" 
version := "1.0" 
scalaVersion := "2.10.5" 
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.0" 

蟒蛇

PYTHONPATH=/Users/XXX/softwares/spark-1.6.1-bin-hadoop2.6/python:/Users/XXX/softwares/spark-1.6.1-bin-hadoop2.6/python/lib/py4j-0.9-src.zip:PYTHONPATH 

一旦庫可用，則使用是常規的如下面

在階

val conf = new SparkConf().setAppName(appName).setMaster(master) 
new SparkContext(conf) 

在蟒

conf = SparkConf().setAppName(appName).setMaster(master) 
sc = SparkContext(conf=conf) 

的你提供的代碼片段是獲取python庫。它可能會起作用，但可能並不是你會遵循的最終方法。