2016-03-27 71 views
0

我試圖在命令行中針對遠程Spark集羣運行Spark-SQL(配置單元查詢)。但是在連接到Spark主機後,我得到了「Table not found」。Spark-SQL命令行對遠程集羣使用Hive查詢

這是我從$SPARK_HOME/bin嘗試:

./spark-sql --jars /.../calliope-hive-assembly-1.1.0-CTP-U2-2.jar \ 
    /../calliope-hive_2.10-1.1.0-CTP-U2.jar --master spark://<<master_url>>:7277 \ 
    --executor-memory 1000M --total-executor-cores 2 " select count(*) *****" 

這是我得到的查詢

錯誤:沒有找到表:

請幫助

回答

0

該表是否存在於Hive中。如果是的話,請確保你提供蜂巢配置來觸發。 Spark應該瞭解Hive meta store的詳細信息,以便獲取表格的元數據。

請檢查以下鏈接瞭解集成。 http://spark.apache.org/docs/latest/sql-programming-guide.html#hive-tables

如果這已被照顧,讓我知道。如果這被照顧,還必須有其他問題。

+0

嗨Srini,謝謝你的迴應。我的情況是,我正在對我的火花大師發起我的查詢,我的桌子在卡桑德拉。我的env中沒有隱式的hive安裝。讓我知道如何在這種情況下提供配置單元配置。我使用Spark 1.6反對cassandra 3.0.4版本 –

+0

嗨Srini,謝謝你的迴應。我的情況是,我正在對我的火花大師發起我的查詢,我的桌子在卡桑德拉。我的env中沒有隱式的hive安裝。讓我知道如何在這種情況下提供配置單元配置。我正在使用Spark 1.6反對cassandra 3.0.4版本 –