Hive中如何解決（太多）分區問題

如果我在單個表中有更多的分區，會發生什麼問題。我打算在配置單元中創建一個歷史記錄表，它將包含7到8年的數據，同時我計劃使用日期鍵對錶進行分區。在這種情況下，我的表格將有大約2500到3500個分區。這是否在分區將創建問題到我的namenode和datanode？每個入口分區條目將佔用多少內存到namenode中？由於這個分區，我將面臨什麼問題？如果我將面對記憶問題，請給我解決方案。如果您發現任何關於此的好文章，請給我鏈接。有沒有其他方法可以解決這個問題？Hive中如何解決（太多）分區問題

感謝 VenkadesanË

來源

2016-03-21 Venkadesh Venkat

我不認爲你有過的分區，3.5K還OK音響掙扎。分區數量較多的唯一問題是查詢開始運行之前的時間，我想這是因爲從元數據接收分區元數據。我們在10k分區遇到真正的放緩，3.5k應該爲你工作

來源

2016-03-28 06:24:24

嗨是否有解決方案，截至目前我們有大約14k分區，並且查詢從不開始（等待超過1.5-2小時）映射初始化階段與映射器數量= -1 預先感謝 –

Hive中如何解決（太多）分區問題

回答

相關問題