訪問SparkContext

Question

的SparkContext在SparkR（V1.5.1）是

Java ref type org.apache.spark.api.java.JavaSparkContext 

然而當創建我的課：

.jnew("com.example.MyClass","sc") 

我的Scala類：類TableReader（SC：JavaSparkContext ），我得到一個：java.lang.NoSuchMethodError：

這是什麼「Java引用類型」，我怎麼能從它通過rJava發送的實際上下文？

Answer 1

SparkR似乎在backend.R中實現了自己的Java互操作性。調用的形式爲SparkR:::newJObject(className, args)，但我找不到任何特定的文檔，除了在同一個項目中的測試。

需要初始化sqlContext，並在啓動過程中使用--jars {csv jars}或--packages加載相關jar，如documentation中所述。