我想問問什麼是保持我的hadoop羣集安全並安排定期備份的最佳方式。 是否可以對namenode進行實時備份?如何設置備份節點?Hadoop HDFS備份
-2
A
回答
2
您可以設置一個輔助名稱節點,它將定期自動備份namenode。在namenode失敗的情況下,您可以使用輔助名稱節點重新生成名稱節點元數據。
您還可以設置HA(高可用性)集羣中的,所以,如果名稱節點出現故障,羣集將自動切換到HA過程中產生的備用名稱節點。請在此處閱讀有關HA的更多信息:http://hadoop.apache.org/docs/r2.3.0/hadoop-yarn/hadoop-yarn-site/HDFSHighAvailabilityWithNFS.html
0
@amar提供了一種解決方案,以確保您的羣集具有高可用性。另外,您應該考慮如何最好地保護Hadoop集羣上的數據免受用戶錯誤,邏輯損壞和災難的影響,並且有多種方法可以做到這一點。您可以編寫使用HDFS快照和distcp的腳本來完成您所需的操作。如果您不想編寫和維護腳本,則可以使用Cloudera BDR或Talena等解決方案,這些解決方案提供非常全面的備份和DR功能。請注意,我爲Talena工作。
相關問題
- 1. Hadoop hdfs to elastisearch
- 2. Hadoop HDFS問題
- 3. Eclipse Hadoop HDFS異常
- 4. java.lang.NoClassDefFoundError:org/apache/hadoop/hdfs/BenchmarkThroughput
- 5. Hadoop的HDFS VS EXT3
- 6. hadoop HDFS blcok size sizes
- 7. 在hadoop中備份源數據文件
- 8. 爲Hadoop Namenode備份添加QJM或NFS
- 9. HDFS中Hadoop塊的概念
- 10. Hadoop - HDFS Namenode元數據 - FSImage
- 11. 寫AVRO數據到Hadoop hdfs
- 12. Hadoop HDFS PutMerge不起作用
- 13. Hadoop HDFS依賴關係
- 14. 的Hadoop(HDFS),用於存儲
- 15. HADOOP HDFS不平衡問題
- 16. Hadoop HDFS複製通配符?
- 17. 上傳文件到hadoop hdfs?
- 18. Hadoop的HDFS遷移CDH4
- 19. 從hadoop hdfs數據搜索
- 20. Hadoop HDFS MapReduce輸出到MongoDb
- 21. hadoop HDFS中是否存在
- 22. Hadoop HDFS存儲位置
- 23. Hadoop standalone - hdfs命令很慢
- 24. 更新hadoop HDFS文件
- 25. Hadoop(HDFS) - 文件版本
- 26. Hadoop的HDFS與星火
- 27. 無法執行目標maven maven-antrun-plugin:1.7項目hadoop-hdfs:圍繞Ant部分的Ant BuildException hadoop-hdfsproject hadoop-hdfs:?
- 28. 未備份備份
- 29. Hadoop JUnit測試從hdfs寫入/讀取hdfs
- 30. Hadoop的HDFS,Java客戶端無法連接到HDFS
這似乎是一個服務管理問題,而不是一個編程的問題。你可能有更好的運氣,詢問關於ServerFault。 (但不要讀他們張貼之前是什麼讓一個很好的問題指引,你將幾乎肯定需要擴大您的問題,並提供規模有所瞭解,讀的頻率VS寫你的集羣上,等等) – 2016-09-24 17:21:58