茂宜島的Hadoop +扭矩集羣

Question

我有一個Torque + Maui集羣。是否可以在同一集羣中安裝Hadoop？如果可能的話，這樣做有什麼優點和缺點？

Answer 1

這可能是一個良好的開端：

http://hadoop.apache.org/docs/r0.18.3/hod.html

我還沒有親自工作，但我聽說，這是沒有被積極維護。

從我所看到的Hadoop有它自己的調度程序，它希望Hadoop節點在Hadoop文件系統所在的位置運行。這通常是一個持久性環境，因此您可以加載一次文件系統（大數據）並將您的作業分配給正好包含所需數據副本的節點。轉矩傾向於從集羣中獲取任意一組空閒節點，將它們分配給作業，運行作業，然後清理下一個作業的環境。這與Hadoop的設計背道而馳。

我可以看到哪裏有一個環境可以完全利用您已有的系統，但管理層最好會混亂。