選擇配置單元桶數

Question

如何確定在創建新表時應創建多少桶？

我碰到下面的答案，

桶=（X * Average_partition_size）/ JVM_memory_available_to_your_Hadoop_tasknode

但是，當你有一個分區表此解決方案纔有效。我的表沒有任何分區，它應該只包含沒有分區的桶？

問候， Prabu

Answer 1

只要使用表的大小，而不是平均分區大小。該公式基於INSERT作業中的數據量：如果是分區表，則每個分區只有一個分區，但在非分區表中只有一個分區。