2012-02-03 152 views
0

我一直在使用Hbase幾個月,並且我已經加載了超過6GB數據的Hbase表。當我試圖用Java客戶端它掛起,並報告以下錯誤,Hbase客戶端掃描程序掛起

Could not seek StoreFileScanner[HFileScanner for reader reader=hdfs 

而且如果我登錄到外殼和掃描它完美的作品,並有少量的數據,即使Java客戶端掃描儀正常工作對HBase的表掃描的行。

針對此問題的任何解決方法?

回答

0

對於大數據,你可以寫下地圖減少代碼。當涉及到大數據時,簡單的Java程序並不是非常有效。你可以看看豬腳來實現。

查閱這些進一步的幫助:

http://sujee.net/tech/articles/hadoop/hbase-map-reduce-freq-counter/

http://wiki.apache.org/hadoop/Hbase/MapReduce

http://hbase.apache.org/apidocs/org/apache/hadoop/hbase/mapreduce/package-summary.html

要不你可以給一個嘗試豬腳本也MAPT減少程序。

http://pig.apache.org/docs/r0.9.1/api/org/apache/pig/backend/hadoop/hbase/HBaseTableInputFormat.html

還有一個選項是存在的您增加HBase的超時屬性,並給予一試。從不同的HBase的配置設置,您可以參考:

http://hbase.apache.org/docs/r0.20.6/hbase-conf.html

但是,當涉及到大量數據的map-reduce代碼始終是更好的,你也可以搜索優化準則/最佳做法HBase的。