我一直在使用Hbase幾個月,並且我已經加載了超過6GB數據的Hbase表。當我試圖用Java客戶端它掛起,並報告以下錯誤,Hbase客戶端掃描程序掛起
Could not seek StoreFileScanner[HFileScanner for reader reader=hdfs
而且如果我登錄到外殼和掃描它完美的作品,並有少量的數據,即使Java客戶端掃描儀正常工作對HBase的表掃描的行。
針對此問題的任何解決方法?
我一直在使用Hbase幾個月,並且我已經加載了超過6GB數據的Hbase表。當我試圖用Java客戶端它掛起,並報告以下錯誤,Hbase客戶端掃描程序掛起
Could not seek StoreFileScanner[HFileScanner for reader reader=hdfs
而且如果我登錄到外殼和掃描它完美的作品,並有少量的數據,即使Java客戶端掃描儀正常工作對HBase的表掃描的行。
針對此問題的任何解決方法?
對於大數據,你可以寫下地圖減少代碼。當涉及到大數據時,簡單的Java程序並不是非常有效。你可以看看豬腳來實現。
查閱這些進一步的幫助:
http://sujee.net/tech/articles/hadoop/hbase-map-reduce-freq-counter/
http://wiki.apache.org/hadoop/Hbase/MapReduce
http://hbase.apache.org/apidocs/org/apache/hadoop/hbase/mapreduce/package-summary.html
要不你可以給一個嘗試豬腳本也MAPT減少程序。
http://pig.apache.org/docs/r0.9.1/api/org/apache/pig/backend/hadoop/hbase/HBaseTableInputFormat.html
還有一個選項是存在的您增加HBase的超時屬性,並給予一試。從不同的HBase的配置設置,您可以參考:
http://hbase.apache.org/docs/r0.20.6/hbase-conf.html
但是,當涉及到大量數據的map-reduce代碼始終是更好的,你也可以搜索優化準則/最佳做法HBase的。