帶RAID的HDP羣集？

Question

您對HDP羣集上的RAID1有什麼經驗？

我在我的腦海兩個選項：

1. 碩士和動物園節點設置RAID 1，不要像卡夫卡經紀人，HBase的regionservers和紗線節點管理器的從屬節點使用RAID的。

即使我鬆了一個從節點，我會有兩個其他副本。 在我看來，RAID只會減慢我的羣集。

儘管這一切，都設置使用RAID 1

你怎麼看呢？你對HDP和RAID有什麼經驗？ 您認爲如何將RAID 0用於從節點？

Answer 1

我不推薦在Hadoop主機上安裝RAID。有一點需要注意，如果你運行的服務像Oozie和Hive Metastore在後臺使用關係數據庫，那麼對數據庫主機來說，raid可能是有意義的。

在主節點上，假設您有Namenode，zookeeper等 - 通常將冗餘內置到服務中。對於名稱節點，所有數據都存儲在兩個名稱節點上。對於Zookeeper來說，如果你失去了一個節點，那麼其他兩個節點就擁有了所有的信息。

Zookeeper喜歡快速磁盤 - 理想情況下將一個完整的磁盤專用於zookeeper。如果您有namenode HA，則爲namenode edits目錄和每個日誌節點指定一個專用磁盤。

對於從節點，數據節點將在所有磁盤上寫入，無論如何都有效地分離數據。每個'寫'最多是HDFS塊大小，所以如果你正在寫一個大文件，你可以在磁盤1上獲得128MB，然後在磁盤2上獲得下一個128MB等等。