我想了解hbase如何使用hdfs。
所以這裏是我的理解(請糾正我,如果我錯了):
我知道hbase使用hdfs來存儲數據和數據被分割成區域,並且每個區域服務器我服務於很多地區,所以我猜測一個區域(專有)可能與許多數據節點通信以獲取和放置數據,所以如果這是正確的,那麼如果該區域服務器失敗,那麼存儲在這些數據節點中的數據將不再可用
預先感謝您: )瞭解hbase如何使用hdfs
1
A
回答
1
通常,Regionserver在數據節點上運行。
由於HDFS的工作原理,Regionserver將在可能的情況下執行對本地數據節點的讀寫操作,然後HDFS將確保將數據複製到其他兩個隨機數據節點上。因此,在任何時候,由該區域服務器寫入的數據都存儲在HDFS中的3個節點上。
雖然區域服務器正在爲區域提供服務,但只有它將讀取/寫入該區域的數據,但如果區域服務器進程崩潰,HBase主服務器將選擇另一個區域服務器來爲該區域提供服務。數據將在幾分鐘內無法使用,但HBase會很快恢復。
如果整個主機發生故障,那麼由於HDFS確保將數據寫入其他兩個節點,所以情況相同 - 主站將選擇一個新的區域服務器來打開故障區域並且數據不會丟失。
相關問題
- 1. HBase + HDFS - 缺少hdfs塊
- 2. HDFS爲HBase提供了什麼?
- 3. 從HDFS讀寫HBASE
- 4. 如何強制HBase在HDFS上運行?
- 5. 如何使用MAP-REDUCE將HBASE表加載到HDFS java程序
- 6. HBase的MapReduce的輸出到HDFS&HBASE
- 7. 試圖瞭解HBase的
- 8. 從HDFS導入Hbase快照
- 9. 在HDFS,HBase的和蜂巢
- 10. Hive over HBase vs Hive over HDFS
- 11. 如何「破解」HBase
- 12. 如何使用HBase?
- 13. HDFS - HBase複製不起作用
- 14. HBase如何啓用對HDFS的隨機訪問?
- 15. IDEA的平衡了HDFS - > HBase的地圖減少工作
- 16. 瞭解如何使用類
- 17. 使用HBase的,而不是在HDFS MapReduce的
- 18. 安裝HDFS/HBase客戶端庫
- 19. 對hbase/hdfs的商業支持
- 20. 從HDFS導入數據到HBase(cdh3u2)
- 21. 將hdfs數據導入hbase時出錯
- 22. hdfs上的HBase更新操作
- 23. 數據版本(Hadoop,HDFS,Hbase後端)
- 24. 如何HBase的數據導出到HDFS目錄
- 25. 如何將數據從sqlserver導入到hdfs/hive/hbase
- 26. 如何將數據從hdfs加載到hbase?
- 27. 如何讓HBase等待直到HDFS準備就緒?
- 28. Apache HBase:區域服務器如何將Hfile寫入HDFS
- 29. 幫助我瞭解瞭解如何使用這個實現
- 30. 瞭解Vaadin如何使用GWT
和三個數據節點(用於複製),區域服務器只通信(或使用)一個數據節點 – aName
對於讀取,通常是。對於寫入操作,寫入操作將獲得1個DN,然後由HDFS複製到其他部分。如果某個區域發生故障並在新主機上啓動,則主機很可能沒有本地所需的數據,因此Regionserver將與羣集中的其他節點通信以讀取數據。因此,在這種情況下,它可以與羣集中的任何其他datanode進行通信 –
非常感謝您 – aName