2013-01-02 108 views
3

詳細程度我運行命令行配置單元的方式:控制蜂巢

hive -e "select * from table;" 

,這讓我我查詢的所有細節和舞臺。 如果我做的:

hive -S -e "select * from table;" 

它沒有給出任何細節。

我想要顯示的是地圖縮小每個步驟的mappers和reducers的數量,以及地圖縮小步驟的數量,但我不想看到所有的信息,如:

2013-01-02 12:46:28,756 Stage-1 map = 100%, reduce = 67%, Cumulative CPU 287.99 sec 

那麼,是否有可能通過Hive更細化地控制冗長?謝謝!

+0

我也是。我最後只會看到像上面一行一樣的日誌文件,每秒一個。 –

回答

1

我的「解決方案」 the same problem

hive ... 2>&1 | grep --line-buffered -v -e ' map = .*, reduce = ' | tee log 

這吮吸(和可能會殺了超過必要的),但是這是我已經能夠拿出迄今最好的。

編輯:請觀看並投票The logging (progress reporting) is too verbose

+0

哦,聰明!當我回去工作時我會嘗試這個。我相信只有在完成第一個10%,20%等時纔會知道使用grep函數的一些技巧。 – S4M