2012-09-25 52 views
0

任何人都可以推薦我是否可以使用org.apache.hadoop.conf.Configuration和org.apache.hadoop.hbase.client.HTablePool從amazon hbase讀取數據。從亞馬遜hbase閱讀數據

我們正在遷移到亞馬遜的EMR框架,並在其上運行hbase。

目前的實現基於純Apache Apache hadoop和hbase發行版。我試圖驗證即使我們遷移到亞馬遜的EMR也不需要更改代碼。

請分享您的想法。

回答

0

雖然不應該發生,但我會期待與EC2的性質及其網絡相關的問題和變化。
HBase中繼可以及時更新租約。如果區域服務器是兩個忙碌的 - 因爲對它們進行了大量的操作,他們不能這樣做並從集羣中啓動。
在EC2實例的亞馬遜性能是可預測的要少得多然後在專用羣集(除非您使用羣集實例),所以調整超時參數和/或您的負載的性質,可能需要獲得集羣正常工作

+0

喜大衛感謝您的評論。目前我使用apache hbase依賴檢索數據。參數化「hbase.zookeeper.quorum」。檢索數據和呈現報告。 我可以通過只更改「hbase.zookeeper.quorum」來從亞馬遜的HBase使用相同的代碼檢索數據。 他們有獨立的SDK嗎? – dharshan

+0

我現在不完全是,但不會期望不同的版本。通常Amazon EMR與apache hadoop兼容(實際上是AFAIK) –