我可以使用100 Mbps網絡交換機進行Hadoop迷你羣集設置嗎？

Question

我願意使用虛擬框來運行12節點Hadoop集羣。我有3個真正的機器，每個虛擬機箱內運行4個datanodes節點。我可以使用LAN線連接2臺計算機，並且可以構建8個節點羣集。現在，我必須通過交換機連接第三臺機器，以便能夠運行12個節點的羣集。我的NameNode的RAM是1 GB，所有datanodes都是512MB。我在所有機器上都使用64位核心i3處理器，每個節點的容量爲8GB。我的問題是我可以使用下面提到的交換機爲我的網絡拓撲？

http://www.flipkart.com/d-link-5-port-10-100base-t-unmanaged-switch-network/p/itmdffymrfgngzsf?pid=NSWDFFYGUQ9GHMF9&ref=1938618c-3737-471e-941b-3e4bb41972fe&srno=t_1&otracker=from-search&query=switch

，因爲它支持100Mbps的速度。作爲我的大學項目，我的預算有限。

Answer 1

它會很慢，但會正常工作。

Answer 2

您的設置顯然不適合典型的Hadoop工作負載。他們需要快速的網絡和大量的RAM。我敢打賭，你將獲得更好的性能，將所有磁盤和RAM放入一臺機器，而不是使用迷你羣集。

但是，如果是僅用於教育項目，也不打算處理大中型數據，也不關心性能，它將起作用。根據您的設置，我不確定一個100mbs的網絡是否會成爲瓶頸。