在Apache Spark中創建sqlContext時出錯

Question

我正在使用Apache Spark並在Ipython筆記本上運行它。 我想將常規數據框轉換爲Spark DataFrame。爲此，我需要sqlContext。當我使用它時，我得到一個錯誤。

錯誤說：

IllegalArgumentException: u"Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder':" 

我已經看過了多種資源，但我沒有能夠解決這個問題。

Answer 1

SQLContext用於是Spark 1.x中SQL功能的入口點;在Spark 2中，它已被SparkSession（documentation）取代。所以，這裏是2.2版本，這是您要根據您的屏幕截圖使用一個初始化星火的正確方法：

from pyspark import SparkContext, SparkConf 
from pyspark.sql import SparkSession 
conf = SparkConf() 
sc = SparkContext(conf=conf) 
spark = SparkSession.builder.config(conf=conf).getOrCreate() 

見documentation上星火SQL進一步的應用實例。