2013-10-03 52 views
1

說我在Amazon彈性地圖降低上啓動集羣並擁有一個主節點實例,2個核心節點實例和15個任務節點實例。亞馬遜AWS上的區域服務器數量

我想我使用mapreduce作業和增量上傳將大約1TB的數據上傳到hbase。

現在 -

  1. 如何查找表的大小和區域劃分(字節)。通常在CDH上我會做一個hadoop fs -du/hbase。但是我的主節點上沒有/ hbase目錄。

  2. 我也很想知道區域服務器分配是如何工作的。所以,即使我有100個區域 - 如果我有1個主節點 - 這意味着整個IO將被限制正確?

感謝 問候

回答

0

你啓動使用彈性的Map Reduce在亞馬遜AWS一個HBase的集羣?或者只是一個Hadoop集羣?

  1. 「hadoop fs -du/hbase」在HBase-on-EMR上對我有效。你可以仔細檢查?
  2. 如果你沒有預先分割區域等,HBase會爲你處理這個問題。至於I/O限制,請看看HBase文檔/視頻 - 當客戶端需要從HBase讀取/寫入時,它將緩存來自-ROOT-和.META的結果。並直接聯繫區域服務器而不是通過主站。
+0

蘇曼 - 對不起,我經常在StackExchange上長時間不活動之後看到了這個答案。那麼我的問題是關於在EMR中分配區域服務器。客戶端知道數據節點是真的,但是在我描述的情況下,與數據節點相比,您有更多的區域。所以你不能在數據節點上運行多個區域服務器。那麼Regions Server如何分配。主節點是否運行更多的區域服務器進程? 。 – Run2