如何在Amazon EMR上重新啓動HDFS

Question

我對Amazon EMR羣集上的HDFS設置進行了一些更改。我想重新啓動namenode和datanode以使更改生效。我無法在namenode（master）和datanode上找到任何啓​​動和停止腳本。應該如何重新啓動羣集？

Answer 1

您必須手動重新啓動羣集。這可以手動執行或使用簡單的shell腳本執行。

1）獲取的主機名或全部節點的IPADDRESS的列表，

2）ssh進入使用密鑰

3）重新啓動所需的服務的節點。

如果您擅長編程，可以創建一個通用實用程序，通過使用羣集ID獲取與EMR對應的所有節點的IP地址列表，並在各個節點中執行服務重新啓動。

否則，手動得到所有節點的主機名或ip地址和下面一個創建一個類似的腳本，並從以下主主機上的主節點

sudo service hadoop-hdfs-namenode restart 
ssh -i <key.pem> <hostname1> "sudo service hadoop-hdfs-datanode restart" 
ssh -i <key.pem> <hostname2> "sudo service hadoop-hdfs-datanode restart" 
ssh -i <key.pem> <hostname3> "sudo service hadoop-hdfs-datanode restart" 

Answer 2

在EMR4，運行執行 -

sudo /sbin/start hadoop-hdfs-namenode 
ssh -i <key.pem> <slave-hostname1> "sudo /sbin/restart hadoop-hdfs-datanode" 
ssh -i <key.pem> <slave-hostname2> "sudo /sbin/restart hadoop-hdfs-datanode" 
ssh -i <key.pem> <slave-hostname3> "sudo /sbin/restart hadoop-hdfs-datanode"