如何自動化Hive查詢

我已經創建了一個hive查詢腳本，主要用於交叉銷售項目的功能創建和評分。大多數查詢都是簡單的查詢，可以執行數據清理，轉換等操作。我希望自動執行此過程，以便我可以從配置表作爲輸入開始，並將最終結果輸出到Hbase文件中。我的問題是：如何自動化Hive查詢

什麼是最好的辦法呢？

我可以簡單地創建filename.sql或filename.hql和使用hive -f filename.sql

從shell中運行它有什麼在蜂巢狀PL的SQL？

2015-04-17 pankaj jha

我們稱之爲蜂巢腳本如蜂房查詢lanquage分開是很重要的。您可以從命令行hive -e'command'或hive -f/pathtohql'運行配置單元腳本。最後使用cronjob或oozie協調器作業來安排它。 –

你可以用多種方式做到這一點。就像你也可以使用Hive CLI和它非常容易的做這樣的工作。您可以在Linux中編寫shell腳本或在Windows中編寫.bat。

在腳本中，你可以簡單地去下面的條目。

$HIVE_HOME/bin/hive -e 'select a.col from tab1 a';

，或者如果你有文件：

$HIVE_HOME/bin/hive -f /home/my/hive-script.sql

確保您已在ENV設置$ HIVE_HOME。一旦你已經測試和正常工作，你可以放在cronjob進行調度。

2015-04-17 13:52:09

需要注意的是，如果你使用的是該技術的，每個查詢都必須由分號即

hive -e 'select * from tableA limit 10;select * from tableB limit 10'

2015-04-20 08:58:36 raunakjhawar

回答