2009-11-10 96 views
6

我正在構建Hadoop(0.20.1)mapreduce作業,它使用HBase(0.20.1)作爲數據源和數據接收器。我想用Python編寫這個工作,它需要我使用hadoop-0.20.1-streaming.jar來將數據傳入和傳出我的Python腳本。如果數據源/接收器是HDFS文件,這工作正常。Hadoop mapreduce從HBase流式傳輸

Hadoop是否支持從/到HBase的mapreduce流?

+0

你有沒有接過一看,以HBase的卡夫卡+ +星火流整合? – Mike 2016-06-26 00:11:29

回答

1

這似乎是做我想做的事情,但它不是Hadoop發行版的一部分。任何其他建議或意見仍然歡迎。

http://github.com/wanpark/hadoop-hbase-streaming

+0

你對我的問題有任何建議 - http://stackoverflow.com/questions/10953731/calculate-tf-idf-of-documents-using-hbase-as-the-datasource – JHS 2012-06-18 10:59:54