oozie協調器中的Hive查詢

Question

我使用oozie協調器運行10個配置單元腳本，它在reduce階段以相同百分比沒有任何錯誤地陷入其中一個腳本中，腳本是簡單的插入語句，我在命令行上測試它們工作正常，我該如何調試？

Answer 1

這是數據傾斜問題，80％的數據被映射到單個密鑰。一旦我們更新到Hive 10，傾斜優化聯合解決了問題。