Hbase mapreduce交互

Question

我有一個程序hbase和mapreduce。

我將數據存儲在HDFS中，這個文件的大小是：100G。現在我把這些數據提交給Hbase。

我用mapreduce掃描這個文件丟了5分鐘。但掃描HBASE表丟失了30分鐘。

如何提高使用hbase和mapreduce時的速度？

謝謝。

Answer 1

我假設你有一個單節點HDFS。如果您在HDFS的多節點羣集中擁有100Gb文件，則Map Reduce和Hive的速度都會更快。

您可以嘗試增加Map Reduce上的mappers和reducers以獲得一些性能提升，請看這post。

Hive本質上是一個建立在HDFS之上的數據倉庫工具，每個查詢下面都是一個Map Reduce任務本身。所以上面的帖子也會回答這個問題。