PySpark：我們可以從pyspark代碼運行hql

Question

我有Pyspark代碼，它將hql命令寫入.hql文件。我想使用子進程庫直接運行hql文件，但當我這樣做時，我的hql沒有運行，程序正在關閉罰款..

我知道我可以使用sqlcontext從hql讀取每一行，單獨運行它..但我想從子進程命令運行hql文件isnt這可能嗎？

注：我火花提交給運行的.py代碼

Answer 1

，您可以直接與火花SQL

$ spark-sql –master yarn-client <..other parameters for executor memory etc..> -i ./script.hql 

火花SQL提交在shell腳本內部調用火花提交。