2017-06-03 39 views

回答

1

Hadoop是爲物理系統開發的,但它在虛擬環境中會以不同程度的成功運行,它取決於特定的環境。

這實際上是hadoop郵件列表中的一個常見問題,Hadoop開發人員在Hadoop Wiki文章中特別提到了這個問題:Virtual Hadoop。本文將介紹每種方法的優缺點,並討論雲部署。您應該閱讀本文,瞭解您所處的部署場景,並評估您的VM設置中可能存在的問題。

0

如果您打算爲HDFS使用虛擬機,請注意複製。默認情況下,HDFS將所有數據存儲在64mb的塊中,並將每個塊複製到3個不同的節點。此外,至少有一個副本應位於不同的物理機架中 - 請參閱「機架感知」功能。如果虛擬化數據的所有3個副本恰好位於單個物理主機/硬盤上,則在硬件故障的情況下可能會遇到問題。

另一個潛在的警告可能是I/O性能。如果您爲虛擬機使用基於文件的磁盤映像而不直接訪問磁盤,則I/O開銷可能會相當大。而且,在很多情況下,虛擬機無法利用物理主機上的文件系統緩存。

另一方面,虛擬機管理和配置應該更容易。

否則,請參閱https://stackoverflow.com/a/44355754/1421254的答案。

相關問題