2016-11-18 104 views
0

我已經測試了通過使用hive -e和hive -f選項在shell腳本內執行配置單元查詢來將hive查詢輸出寫入文件。當我嘗試從putty執行shell腳本時,它工作正常,但是在oozie工作流的hue框中,相同的shell腳本不會將任何結果寫入本地文件。將配置單元查詢輸出寫入HDFS文件

  1. 使用插入覆蓋目錄我可以直接將hive查詢輸出寫入HDFS內的目錄,但是對於每個查詢,它都會創建一個新目錄,因此我無法使用此選項。

請建議我通過從oozie工作流執行shell腳本將多個hive查詢輸出寫入單個文件的其他選項。

在此先感謝。

+0

爲什麼INSERT OVERWRITE而不是INSERT? –

+0

順便說一下,在一般情況下,INSERT OVERWRITE將創建*多個*文件(即多個映射器,無減速器或多個減速器)。 Hadoop是關於分佈式計算的。如果你不想分佈式計算,只需堅持MySQL或MS Access。 –

回答

0

當通過Oozie工作流運行shell操作時,它將運行在任何datanode上。檢查輸出路徑是否存在於datanode中