無法將配置單元表加載到Spark中

我正嘗試使用spark-sql從配置單元表中加載數據。但是，它不會返回任何東西。我試圖在配置單元中執行相同的查詢，並打印出結果。下面是我想要在scala中執行的代碼。無法將配置單元表加載到Spark中

sc.setLogLevel("ERROR") 
    import org.apache.spark.sql.DataFrame 
    import org.apache.spark.sql.Row 
    import org.apache.spark.sql.types.{StructField, StructType, LongType} 
    import org.apache.spark.sql.hive.HiveContext 
    import sqlContext.implicits._ 
    val sqlContext = new HiveContext(sc) 
    sqlContext.setConf("spark.sql.hive.convertMetastoreOrc", "false") 
    val data = sqlContext.sql("select `websitename` from db1.table1 limit 10").toDF

請讓我知道可能是什麼原因。火花版本：1.6.2 Scala - 2.10

來源

2017-04-03 prateek

你能否詳細說明「它不會回報我」？你有'data.show'嗎？ –

取決於表格的創建方式。如果它是由外部應用程序創建的，並且您將配置單元作爲單獨的服務運行，請確保SPARK_HOME/conf/hive-site.xml中的設置是正確的。

如果它是一個內部spark-sql表，它會在主節點上的一個文件夾中設置Metastore，在您的情況下它可能已被刪除或移動。

來源

2017-04-06 00:50:53 jamborta

無法將配置單元表加載到Spark中

回答

相關問題