hbase上的泰坦熱區

Question

我們在hbase 0.98.6（cloudera 5.2）上使用泰坦0.5.0。 經過一段時間的使用後，我們發現特定區域中的一列家族大於HBase最大文件大小（hbase.hregion.max.filesize），然而無論何時我們將區域分割爲相同的大小。

任何人都知道這個問題，我們如何解決它？

Answer 1

我們意識到問題出在一個索引上。 有一個低基數屬性的索引。這使得hbase中的單個索引行非常大。我們無法分開它，因爲它只是一行。

Answer 2

hbase.hregion.max.filesize從hbase 0.94+不起作用，因爲默認的拆分策略已更改。 check this link

你應該在外殼改變split_policy，像這樣：{TABLE_ATTRIBUTES => {MAX_FILESIZE => '12884901888', CONFIGURATION => {'hbase.hregion.scan.loadColumnFamiliesOnDemand' => 'true', 'SPLIT_POLICY' => 'org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy'}}