爲什麼spark要告訴我「name」sqlContext'沒有定義「，我該如何使用sqlContext？

Question

我嘗試運行例如火花毫升，但

from pyspark import SparkContext 
import pyspark.sql 

sc = SparkContext(appName="PythonStreamingQueueStream")  
training = sqlContext.createDataFrame([ 
(1.0, Vectors.dense([0.0, 1.1, 0.1])), 
(0.0, Vectors.dense([2.0, 1.0, -1.0])), 
(0.0, Vectors.dense([2.0, 1.3, 1.0])), 
(1.0, Vectors.dense([0.0, 1.2, -0.5]))], ["label", "features"]) 

無法運行，因爲終端告訴我，

NameError: name 'SQLContext' is not defined 

爲什麼會這樣？我該如何解決它？

Answer 1

如果您使用的是Apache Spark 1.x行（即Apache Spark 2.0之前），要訪問sqlContext，您需要導入sqlContext;即

from pyspark.sql import SQLContext 
sqlContext = SQLContext(sc) 

如果你使用Apache 2.0星火，你可以在Spark Session，而不是直接。因此，你的代碼將

training = spark.createDataFrame(...) 

欲瞭解更多信息，請參閱Spark SQL Programing Guide。