減少蜂巢啓動時間爲許多蜂巢-e調用

Question

我調用蜂巢-e數百次在命令行中這樣說：

cat hive_script.hql | parallel --gnu hive -e '{}' 

其中hive_script.hql每行可以獨立運行，並在任何訂購。

是否有任何--hiveconf參數可以減少啓動時間？ Apache的網頁似乎表明有可能是在

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+VariableSubstitution

"This is frustrating as Hive becomes closely coupled with scripting languages. The Hive startup time of a couple seconds is non-trivial when doing thousands of manipulations such as multiple hive -e invocations." 

Answer 1

你不能加快蜂巢-e起來，但你可以把多個查詢在一個腳本中。

如果這不起作用，您需要查看HiveServer2並調用JDBC客戶端的查詢。