2016-09-21 36 views
0

我在Linux服務器上運行spark 2.0和zeppelin-0.6.1-bin-all。默認的spark筆記本運行得很好,但是當我嘗試使用sqlContext在pyspark中創建並運行新的筆記本時,出現錯誤「py4j.Py4JException:Method createDataFrame([java.util.ArrayList,java.util.ArrayList,空])不存在 「Spark 2.0與Zeppelin 0.6.1 - SQLContext不可用

我試圖運行一個簡單的代碼,

%pyspark 

wordsDF = sqlContext.createDataFrame([('cat',), ('elephant',), ('rat',), ('rat',), ('cat',)], ['word']) 
wordsDF.show() 
print type(wordsDF) 
wordsDF.printSchema() 

我得到的錯誤,

回溯(最後最近一次調用): 文件」/ tmp目錄/ zeppelin_pyspark- 7635635698598314374.py「,266行, raise異常(traceback.format_exc()) Excep回溯(最近一次調用最後一次): 文件「/tmp/zeppelin_pyspark-7635635698598314374.py」,第259行,在 exec(代碼) 文件「」,第1行,在 文件「/spark/spark-2.0 .0-bin-hadoop2.7/python/pyspark/sql/context.py「,第299行,在createDataFrame中 返回self.sparkSession.createDataFrame(data,schema,samplingRatio) 文件」/spark/spark-2.0.0 -bin-hadoop2.7/python/lib/py4j-0.10.1-src.zip/py4j/java_gateway.py「,第933行,在中調用 answer,self.gateway_client,self.target_id,self.name) 文件「/spark/spark-2.0.0-bin-hadoop2.7/python/pyspark/sql/utils.py」,行63,在裝飾 返回f(* a,** kw) 文件「/ spark /spark-2.0.0-bin-hadoop2 .python/lib/py4j-0.10.1-src.zip/py4j/protocol.py「,第316行,在get_return_value中 格式(target_id,」。「,name,value)) Py4JError:發生錯誤調用o48.createDataFrame。 Trace: py4j.Py4JException:方法createDataFrame([類java.util.ArrayList,類java.util.ArrayList,null])不存在 at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318) at py4j在py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:128) at py4j.commands.CallCommand(在py4j.Gateway.invoke(Gateway.java:272) 處).reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326) .execute(CallCommand.java:79) 在py4j.GatewayConnection.run(GatewayConnection.java:211) 在java.lang.Thread.run(Thread.java:745)

當我嘗試同樣的代碼「sqlContext = SQLContext(sc)」它工作的理由很好。

我試着設置解釋器「zeppelin.spark.useHiveContext false」的配置,但它沒有奏效。

我必須明顯缺少一些東西,因爲這是一個簡單的操作。如果還有其他配置需要設置或缺少什麼,請諮詢。

我測試了與Zeppelin 0.6.0相同的一段代碼,它工作正常。

回答

0

SparkSession是Spark 2.0.0的默認入口點,它被映射到Zeppelin 0.6.1中的spark(因爲它在Spark shell中)。你有沒有試過spark.createDataFrame(...)

相關問題