使用命令行啓動和停止hadoop生態系統的最佳方式是什麼？

Question

我看到有幾個方面我們可以啓動的Hadoop生態系統，

1. start-all.sh & stop-all.sh 哪個說這是不推薦使用start-dfs.sh & start-yarn.sh。

2. start-dfs.sh, stop-dfs.sh and start-yarn.sh, stop-yarn.sh

3. hadoop-daemon.sh namenode/datanode and yarn-deamon.sh resourcemanager

編輯：我認爲必須有一些特定的使用情況爲每個命令。

Answer 1

start-all.sh & stop-all.sh：用於一次啓動和停止hadoop守護進程。在主機上發佈它將啓動/停止羣集中所有節點上的守護進程。如您已經注意到的那樣棄用。

start-dfs.sh，stop-dfs.sh和start-yarn.sh，stop-yarn.sh：同上，但來自主機的所有節點上分別啓動/停止HDFS和YARN守護進程。這是明智的，現在在start-all.sh & stop-all.sh使用這些命令

hadoop-daemon.sh的NameNode/DataNode會和yarn-deamon.sh的ResourceManager：爲個人計算機上啓動單獨的守護進程手動。您需要轉到特定節點併發出這些命令。

用例：假設您添加了一個新的DN到集羣，你需要啓動DN守護進程只在本機上，

bin/hadoop-daemon.sh start datanode 

注：您應該啓用SSH如果你想從一臺機器啓動所有節點上的所有守護進程。

希望這能回答您的查詢。

Answer 2

從Hadoop的page，

start-all.sh 

這將啓動一個的Namenode，Datanode的，JobTracker的和你的機器上的TaskTracker。

start-dfs.sh 

這將啓動HDFS，並在運行該命令的計算機上運行Namenode。在這樣一臺機器，你需要start-mapred.sh分別啓動作業服務器

start-all.sh/stop-all.sh必須在主節點上運行

你將一個單個節點羣集上使用start-all.sh（即在這裏你將有所有的服務在同一個節點上。namenode也是datanode並且是主節點）。

在多節點設置，

您將使用主節點上start-all.sh，並會開始什麼是對的奴隸必要的，也是。

另外，

使用start-dfs.sh的節點上你想要的的Namenode上運行。這將彈出HDFS與Namenode在您運行命令的機器上運行，並且Datanodes在slave文件中列出的機器上。

在您計劃運行Jobtracker的機器上使用start-mapred.sh。這將啓動在運行命令的機器上運行Jobtracker的Map/Reduce羣集，並在從機文件中列出的機器上運行任務軌跡器。

hadoop-daemon.sh如Tariq所述在每個單獨節點上使用。主節點不會啓動從站上的服務。在單個節點設置中，這將與start-all.sh相同。在多節點設置中，您必須訪問每個節點（主服務器和從服務器）並在其上執行每個節點。

看一看thisstart-all.sh調用它配置其次DFS和mapred

Answer 3

開始

start-dfs.sh (starts the namenode and the datanode) 
start-mapred.sh (starts the jobtracker and the tasktracker) 

停止

stop-dfs.sh 
stop-mapred.sh