我是hadoop中的新成員,所以我有一些疑惑。如果主節點發生hadoop集羣發生的故障?我們可以恢復該節點而不會有任何損失當當前主節點出現故障時,是否有可能讓輔助主節點自動切換到主節點?Hadoop Datanode,namenode,secondary-namenode,job-tracker和任務跟蹤器
我們有namenode(Secondary namenode)的備份,所以我們可以在第二個namenode失敗時恢復namenode。像這樣,當datanode失敗時,我們如何才能恢復數據節點中的數據?輔助namenode只是namenode的備份而不是datenode,對吧?如果一個節點在作業完成之前失敗,那麼在作業跟蹤器中有待處理的作業,那麼作業是繼續還是從空閒節點中的第一個重新開始?
如果發生任何事情,我們如何恢復整個羣集數據?
我的最後一個問題是,我們可以在Mapreduce中使用C程序嗎(例如,mapreduce中的Bubble排序)?
預先感謝
現在很多人都稱輔助namenode爲「checkpoint節點」,這是件好事。 –
任何可以讀/寫STDIN/STDOUT的編程語言都可以用於Hadoop Streaming。有幾個[框架](http://goo.gl/aaVYN)可以讓Hadoop Streaming變得更輕鬆。 –