如何將EC2上的特定實例掛載分配給HDFS

Question

我正在嘗試使用i2實例安裝單節點hadoop集羣，並且正在尋找分配800 GB SSD專用於HDFS的實例存儲掛載之一，但不知道如何做到這一點。

默認的i2實例附帶2個800 GB SSD實例存儲，我希望將其中一個專用於HDFS，另一個專用於其他一些工作負載。

的/ dev/xvdb --Mounted它到/ mnt/HDFS ---我想確保我的所有HDFS數據都存儲在這裏 的/ dev/xvdc --Mounted它到/ mnt /數據 任何幫助將不勝感激。

謝謝。

Answer 1

文件/ etc/fstab控制在啓動時掛載的內容。 假定這些文件夾存在（和你列出塊設備是正確的），你只需要添加幾行：

/dev/xvdb  /mnt/hdfs ext4 defaults,nofail  0  2 
/dev/xvdc  /mnt/data ext4 defaults,nofail  0  2 

我在這裏做了一些假設你（他們是ext4的格式，例如）。

Answer 2

替代您自己安裝，配置和管理Hadoop，另一種方法是使用Amazon EMR，它提供了一個Hadoop系統。

Amazon EMR 會自動爲HDFS使用實例存儲，但您也可以請求Amazon EBS卷擴展HDFS（或者不提供實例存儲的實例類型）。