停止所有現有的火花上下文

Question

我試圖創建一個使用pyspark出新的火花背景下，我得到如下：

WARN SparkContext：正在建設中的另一個SparkContext（或扔 在構造函數中的異常） 。這可能表示出現錯誤，因爲 只有一個SparkContext可能在此JVM中運行（請參閱SPARK-2243）。 。 org.apache.spark.api.java.JavaSparkContext：本 其他SparkContext在創建（JavaSparkContext.scala：61）

我沒有任何其他方面活動的（理論上），但也許它沒有正確完成，它仍然存在。我怎樣才能知道是否有其他的或殺死所有現有的？我正在使用spark 1.5.1

Answer 1

當您運行pyspark shell並在其中執行python腳本時，例如使用'execfile（）'，SparkContext可用作sc，HiveContext可用作sqlContext。要運行沒有任何上下文的python腳本，只需使用./bin/spark-submit'your_python_file'。