2013-06-30 111 views
3

hadoop生態系統,我們有NameNodeSecondaryNameNodeNameNode負責管理集羣中的所有可用的數據,所以我的問題是,當NameNode下山生態系統如何更換,並與其他NameNode恢復呢?Namenode恢復,namenode恢復如何工作?

回答

5

有這裏主要考慮兩件事情,

1- Recovery through SecondaryNameNode 
2- Recovery through redundant NameNode 

hadoop-1.x我們持有的NameNode的元數據的副本上SecondaryNameNode概念。如果您的NameNode發生故障,您可以將存儲在SecondaryNameNode中的元數據副本,並在您的NameNode重新啓動後使用它來恢復您的工作。

With hadoop-2.x(HA)您可以有多個NameNode。如果主NameNode發生故障,冗餘NameNode可以接管,以便您的羣集不會停止工作(手動或自動)。在這個實現中,在主/備配置中有一對NameNode。如果活動名稱節點發生故障,備用服務器 接管其職責以繼續處理客戶端請求。

爲了充分利用高可用性功能,您應該在HA模式下運行帶有日記式仲裁節點的法定數量的NameNode,或編輯日誌事務文件的共享HA-NFS存儲。我建議你去通過這些職位,其精美的解釋恢復機制:

1- http://blog.cloudera.com/blog/2012/05/namenode-recovery-tools-for-the-hadoop-distributed-file-system/

2- http://blog.cloudera.com/blog/2012/10/quorum-based-journaling-in-cdh4-1/

3- http://blog.cloudera.com/blog/2012/03/high-availability-for-the-hadoop-distributed-file-system-hdfs/

但如果你是在Hadoop-1。 x,最好有2個獨立的位置用於存儲NameNode元數據(機器上的一個驅動器+ 1個NAS)。

HTH

+0

很好解釋。你可以請詳細說明恢復通過SecondaryNamenode在http://stackoverflow.com/questions/38629642/namenode-failure-recovery-hadoop-1-0-4 –