創建集羣文件服務器系統

Question

我目前有3個文件服務器，每個都有一個由24個磁盤組成的RAID 6陣列。

問題是，有什麼辦法可以使它們作爲一個大驅動器而不是3個獨立的系統工作。我需要更多的吞吐量，我認爲這是一個可能性。也許像Hadoop這樣的Distrubted文件系統？

Answer 1

答案取決於此硬件上數據的預期用法。 Hadoop文件系統HDFS - 適合非常特殊的Map-Reduce處理需求。主要限制，對於其預期用途而言是可以的，但對其他用戶有問題：
a）文件不能編輯，但只能附加。
b）存在很多小文件的問題。它被設計用於大小爲64 MB或更大的文件。所有元數據存儲在內存中的限制原因。
c）它不符合posix標準，所以你不能掛載它，並且由於不知道HDFS的應用程序將它用作常規文件系統。

我會考慮像GlusterFS，Ceph或Lustre這些類似於您所描述的情況下構建的選項。需要更多信息來給出選擇其中之一的好建議。