羣集文件系統或通過網絡複製？

Question

我有一個5個miniservers（樹莓派）的集羣，每個都有一個8GB的USB驅動器，只是爲了試驗集羣等。
他們現在連接到交換機通過局域網，而不是現在的互聯網
我需要的是在每臺服務器上有相同文件的方式，正如標題所說，替代方案是：
。通過5臺服務器複製相同的數據，只有〜8GB的空間5次
。有一個「JBOD」通過網絡，所以總共約40GB
任何建議任何上述解決方案表示讚賞。
存儲的文件並不重要，所以不需要可靠性/可用性。
祝您有美好的一天。

Answer 1

你需要問自己你打算使用什麼樣的分佈式計算的問題。如果您在流行的MapReduce框架中查看數據本地計算，則可能需要安裝其中一個框架。它們基於分佈式文件系統並與其結合使用。所以基本上你有一個更高級別的文件系統，你可以通過API訪問。您寫入這些文件系統的數據會在整個羣集中分裂。在MapReduce處理範例中，map階段可以利用這個數據局部性，因爲它只處理/加載來自本地塊的數據。

如果您對HPC /集羣方法更感興趣，您可能會考慮基於MPI的系統。在這些系統中，您的操作更低一點。在這種情況下可以很好地工作的是，您使用NFS和OverlayFS的組合來將數據提供給所有節點。這會像這樣工作，即你的每個Pi都通過NFS共享它的USB。所有其他Pi都掛載了所有其他Pi的文件系統。因此，在Pi-0上，您最終將從Pi-1到4共享等。藉助OverlayFS，您可以使單個文件夾中的數據顯示在單個文件夾中。

如果您的MPI工作人員需要讀取文件，他們基本上可以從一個明確定義的路徑中讀取數據，並且必要時可以通過網絡透明地提取數據。由於NFS已經存在很多年了，許多性能上的改進讓它感到不快，而且它通常很少有開銷，所以這甚至可能是一個相當高性能的解決方案。

讓我們更新關於您計劃在這裏的令人興奮的項目！