創建數據框問題10

我無法從pyspark窗口創建數據框問題10

schemaPeople = spark.createDataFrame(people)

我已經設置HADOOP_HOME到winutils 我提供77權限到C執行下面的命令：/ tmp目錄/蜂房

不過我提示以下錯誤： -

Py4JJavaError: An error occurred while calling o23.applySchemaToPythonRDD. 
: java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 
    at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522) 
    at org.apache.spark.sql.hive.client.HiveClientImpl.<init>(HiveClientImpl.scala:189) 
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) 
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(Unknown Source) 
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(Unknown Source) 
    at java.lang.reflect.Constructor.newInstance(Unknown Source) 
    at org.apache.spark.sql.hive.client.IsolatedClientLoader.createClient(IsolatedClientLoader.scala:258) 
    at org.apache.spark.sql.hive.HiveUtils$.newClientForMetadata(HiveUtils.scala:359) 
    at org.apache.spark.sql.hive.HiveUtils$.newClientForMetadata(HiveUtils.scala:263) 
    at org.apache.spark.sql.hive.HiveSharedState.metadataHive$lzycompute(HiveSharedState.scala:39) 
    at org.apache.spark.sql.hive.HiveSharedState.metadataHive(HiveSharedState.scala:38) 
    at org.apache.spark.sql.hive.HiveSharedState.externalCatalog$lzycompute(HiveSharedState.scala:46)

我已經張貼在此之前經歷了很多類似的問題了，感謝所有幫助這裏

來源

2017-04-12 pratik rudra

當使用winutils文件嘗試在Windows上設置Spark時，我得到了這個錯誤。爲了解決這個問題，我必須設置不同的Spark。

我結束了爲我的火花版本下載Hadoop二進制文件並從那裏開始。如果您有興趣，我會以漫遊形式記錄整件事情。 Spark on windows

要點是Apache的官方Hadoop發行版不包含Windows二進制文件，並且從源文件編譯可能非常乏味，因此人們已經編譯好的發行版可用。如果您想使用Spark 2.0.2，請從steve loughran's github下載2.1.0的二進制文件，您可以從here下載該文件，您應該可以按照預期進行設置。

來源

2017-04-12 21:49:57 Grr

創建數據框問題10

回答

相關問題