Namenode HA(NFS,QJM)在hadoop 2.x(HDFS-1623)中可用。它爲Namenode提供了快速故障轉移功能,但是我找不到上的任何描述需要多長時間才能從故障中恢復恢復。任何人都可以告訴我嗎?namenode ha故障轉移時間
感謝您answer.As事實的事情,我想知道兩個節點(活動NameNode和備用的NameNode)的轉變之間的時間。可你告訴我多久?
Namenode HA(NFS,QJM)在hadoop 2.x(HDFS-1623)中可用。它爲Namenode提供了快速故障轉移功能,但是我找不到上的任何描述需要多長時間才能從故障中恢復恢復。任何人都可以告訴我嗎?namenode ha故障轉移時間
感謝您answer.As事實的事情,我想知道兩個節點(活動NameNode和備用的NameNode)的轉變之間的時間。可你告訴我多久?
當您使用HA,多個NameNode的集羣將運行,但雜誌節點將在一次單獨的名稱節點上只寫。所以一個名字節點將在活躍狀態,另外一個將在待機
如果一個NameNode的失敗,則備用節點將transist進入活躍狀態。它被稱爲從失敗中恢復。
雜誌節點上都'active'寫入和'passive' namenodes,如果不寫,那麼如何被動的NameNode可以採取管理和管理活動namenode以前處理的元數據? – 2014-12-03 12:56:34
日記節點寫入活動名稱節點,備用名稱節點從日誌節點讀取。 – Kumar 2014-12-03 18:05:12
從的Hadoop權威指南,我相信這是很容易理解和非常直截了當。
故障轉移和圍欄
從活動名稱節點到備用的轉換由系統中的一個 新實體管理的稱爲故障轉移控制器。故障轉移 控制器是可插拔的,但第一個實施使用ZooKeeper 確保只有一個名稱節點處於活動狀態。每個名稱節點都運行一個輕量級故障轉移控制器進程,該進程的工作是監視名稱節點的故障(使用簡單的心跳線機制)和 ,如果名稱節點失敗,則會觸發故障轉移。
例如,故障轉移也可以由管理員手動啓動,例如在日常維護的 案例中。這被稱爲優雅 故障切換,因爲故障切換控制器安排了兩個名稱節點的切換 切換以切換角色。
但是,如果出現 不符合故障轉移的情況,則不可能確定 失敗的namenode已停止運行。例如,慢速網絡或網絡分區可以觸發故障轉移,即使之前活動的名稱節點仍在運行,並且認爲它仍然是 活動的名稱節點。高可用性實現盡最大努力,以確保以前活動的名稱節點不會受到任何 損壞並導致損壞 - 一種稱爲防護的方法。該系統 採用一系列擊劍機制,包括殺死 名稱節點的過程中,撤銷其訪問共享存儲 目錄(典型地通過使用供應商特定的NFS的COM普通話),和 經由遠程管理禁用其網絡端口命令。作爲最後的 度假村,以前活動的名稱節點可以使用技術 (圖形上稱爲STONITH)或「在 磁頭中拍攝另一個節點」進行圍繞,該技術使用專用的配電裝置強制使用 電源放下主機。
客戶端故障轉移由客戶端庫透明地處理。最簡單的實現使用客戶端配置來控制故障轉移。 HDFS URI使用映射到 一對namenode地址(在配置文件中)的邏輯主機名,客戶機 庫嘗試每個namenode地址,直到操作成功。
希望它有幫助!
這裏是時間故障轉移與備用的NameNode一些合格的例子:
使用300TB原始存儲6000000塊和100K文件60節點集羣:30秒。因此,總故障切換時間範圍爲1-3分鐘。
200個節點的羣集佔用1PB原始存儲空間和100萬個文件:110秒。因此總的故障切換時間範圍從2.5到4.5分鐘。
對於小型到中型羣集,冷故障轉移速度只有30到120秒慢。
來源:http://hortonworks.com/blog/ha-namenode-for-hdfs-with-hadoop-1-0-part-1/
我認爲那些時間是指Hadoop 1.x.就在鏈接引用部分之前,它說:「Hadoop 1需要啓動第二個NameNode,NameNode才能脫離安全模式。在我們的實驗中,我們觀察了以下時間......」。這個問題是關於Hadoop 2.x的問題。 – 2017-09-18 15:31:45
戴rengamasy ... vaiku vandhalam POTU vidriyaa – Varadha31590 2016-10-12 07:25:24