如何配置和重新啓動在Azure上運行的HDInsight羣集？

Question

具體而言，我想要更改Microsoft Azure上運行的HDInsight羣集中每個節點的最大映射器數量和最大減少器數量。

使用遠程桌面，我登錄到頭節點。我編輯了頭節點上的mapred-site.xml文件，並更改了mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum值。我嘗試重新啓動頭節點，但我無法重新啓動。我使用start-onebox.cmd和stop-onebox.cmd腳本來嘗試啓動/停止HDInsight。

然後我運行流式mapreduce，將所需數量的reducer傳遞給hadoop-streaming.jar，但減法器的數量仍受上一個mapred.tasktracker.reduce.tasks.maximum值限制。我的大多數減速器都在等待執行。

是否需要更改每個節點上的mapred-site.xml文件？有沒有簡單的方法來改變這種情況，還是我需要遠程桌面到每個節點？如何重新啓動或重新啓動羣集，以便使用我的新值？

感謝

Answer 1

我知道它已經有一段時間，因爲這個問題被張貼，但我想張貼誰可能會發現有用的其他用戶。

有2種方式，你可以在HDinsight

改變Hadoop配置文件（如mapred-site.xml中，蜂房的site.xml等）

選項＃1： 這是最簡單的 - 你可以提供每個作業的hadoop配置值，如本blog

選項＃2： 可以定製配置或安裝羣集期間用Hadoop配置值HDinsight簇，如本blog

手動修改一個配置文件不受支持，Azure VM重新映像時更改將會丟失。