2017-10-19 41 views
0

我想在spark上運行查詢。我把它們都在我的.sql文件如何使用spark-submit提交包含查詢的查詢或.sql文件

目前我運行的方式是:

spark-sql --master yarn /home/myuser/query.sql 

但只要在查詢完成談到了火花SQL>內執行... 。shell提示然後作業狀態不會更改成功完成它顯示RUNNING由於spark-sql>外殼是活動的,所以我必須明確地做CTRL + C才能出來。

所以我基本上只想提交一個spark工作,它實際上是一個使用shell腳本文件的查詢,並且不需要進入任何spark特定的shell。

我不想在類文件中編寫查詢,然後構建一個jar然後提交。

回答

0

剛剛發現,-f選項爲我做的工作。

spark-sql --master yarn -f /home/myuser/query.sql