HBase mapReduce TableOutputFormat如何使用Flush和WAL

Question

因此，從使用TableOutputFormat的MapReduce作業寫入HBase時，它多長時間寫入HBase。我不認爲它會爲每一行做一個put命令。

在MapReduce中使用時，我們如何控制AutoFlush和Write Ahead Log（WAL）？

Answer 1

TableOutputFormat禁用自動沖洗，並使用在hbase.client.write.buffer（默認爲2MB）指定寫入緩衝區，一旦緩衝區滿了自動刷新到HBase的。 config.set("hbase.client.write.buffer", 16777216); // 16MB Buffer

WAL是默認啓用的，它可以每放禁用，但是它一般不提倡： myPut.setWriteToWal(false);

您可以通過添加屬性到你的工作配置更改

Answer 2

它確實看到the code。如果你想繞過WAL編寫使用HFileOutputFormat see example on gitub