IBM General Parallel File System（GPFS）是否支持Map/Reduce作業？

IBM通用並行文件系統（GPFS）是否支持Map/Reduce作業？不使用第三方軟件（如Hadoop Map/reduce）？

謝謝！

2011-05-23 leon

你幾乎回答了你自己的問題：它是一個fileystem，而不是計算框架。 – 2011-05-23 16:08:21

但是Hadoop本身支持文件系統和計算能力：映射/減少作業 – leon 2011-05-23 19:17:44

是的，但它們是分裂的，它是HDFS和MapReduce。你只能運行HDFS或者MapReduce。然後，MapReduce可以使用HDFS或其他文件系統，甚至可以使用本地文件系統。 – 2011-05-24 06:15:11

GPFS在Map/Reduce出現幾十年前已經發展成爲分佈式計算範式。 GPFS本身沒有Map/Reduce功能。主要針對HPC，存儲節點與計算節點不同。

因此Map/Reduce可以使用第三方軟件（在所有Hadoop節點上安裝GPFS）來完成，但它不會非常有效，因爲所有數據都很遙遠。沒有數據局部性可以使用。緩存或多或少都沒用，等等。

2011-05-24 06:09:28 dmeister

2009年，GPFS擴展爲與Hadoop無縫協作，成爲GPFS文件放置優化程序（FPO）的GPFS共享無集羣體系結構。如果應用程序需要，FPO允許完全控制所有副本的數據放置。當然，您可以輕鬆配置以匹配HDFS分配。

2013-07-02 21:55:39

回答