在hadoop
生態系統,我們有NameNode
和SecondaryNameNode
,NameNode
負責管理集羣中的所有可用的數據,所以我的問題是,當NameNode
下山生態系統如何更換,並與其他NameNode
恢復呢?Namenode恢復,namenode恢復如何工作?
3
A
回答
5
有這裏主要考慮兩件事情,
1- Recovery through SecondaryNameNode
2- Recovery through redundant NameNode
在hadoop-1.x
我們持有的NameNode的元數據的副本上SecondaryNameNode概念。如果您的NameNode發生故障,您可以將存儲在SecondaryNameNode中的元數據副本,並在您的NameNode重新啓動後使用它來恢復您的工作。
With hadoop-2.x(HA)
您可以有多個NameNode。如果主NameNode發生故障,冗餘NameNode可以接管,以便您的羣集不會停止工作(手動或自動)。在這個實現中,在主/備配置中有一對NameNode。如果活動名稱節點發生故障,備用服務器 接管其職責以繼續處理客戶端請求。
爲了充分利用高可用性功能,您應該在HA模式下運行帶有日記式仲裁節點的法定數量的NameNode,或編輯日誌事務文件的共享HA-NFS存儲。我建議你去通過這些職位,其精美的解釋恢復機制:
2- http://blog.cloudera.com/blog/2012/10/quorum-based-journaling-in-cdh4-1/
3- http://blog.cloudera.com/blog/2012/03/high-availability-for-the-hadoop-distributed-file-system-hdfs/
但如果你是在Hadoop-1。 x,最好有2個獨立的位置用於存儲NameNode元數據(機器上的一個驅動器+ 1個NAS)。
HTH
相關問題
- 1. 恢復Hadoop NameNode失敗
- 2. 如何通過HA second namenode恢復hdfs?
- 3. Hadoop中的Namenode故障和恢復
- 4. 刪除namenode後從HDFS恢復文件
- 5. 如何在Hadoop中的namenode -format命令後恢復數據
- 6. 從元數據備份中恢復Hadoop NameNode
- 7. NameNode不工作
- 8. Hadoop複製模型 - DataStreamer/Namenode
- 9. ,如何恢復?
- 10. 恢復Eclipse工作區
- 11. 在accurev恢復工作區
- 12. 石英不恢復工作
- 13. 讓燒瓶恢復工作
- 14. Git恢復不工作
- 15. 自動碎片恢復如何工作
- 16. 文件恢復軟件如何工作?
- 17. 恢復和恢復方案
- 18. Android:恢復恢復時間
- 19. 如何恢復sys.stdout.close()?
- 20. 如何恢復DataTemplate?
- 21. 如何恢復ASINetworkQueue?
- 22. 恢復動作條
- 23. 密碼恢復工具不工作
- 24. 恢復
- 25. Hadoop NameNode
- 26. 停止後恢復恢復同步
- 27. 數據庫被「恢復」恢復
- 28. 恢復快照後恢復套接字
- 29. svn恢復 - 恢復個別修訂版
- 30. dotnet恢復vs. nuget恢復與teamcity
很好解釋。你可以請詳細說明恢復通過SecondaryNamenode在http://stackoverflow.com/questions/38629642/namenode-failure-recovery-hadoop-1-0-4 –