Spark MiniCluster

Question

是否可以完全編程創建一個「Spark MiniCluster」來從Scala程序中運行小型Spark應用程序？我不想啓動Spark shell，而是在我的程序的Main中完全製作一個「MiniCluster」。

Answer 1

您可以創建應用程序並使用本地主在獨立模式下啓動星火：

import org.apache.spark.SparkContext 
import org.apache.spark.SparkContext._ 
import org.apache.spark.SparkConf 

object LocalApp { 
    def main(args: Array[String]) { 
    val sc = new SparkContext("local[*]", "local-app", new SparkConf()) 
    // Do whatever you need 
    sc.stop() 
    } 
} 

你可以做的正是與任何支持的語言同樣的事情。