我可以縮小azure hdinsight羣集嗎？

我已經創建了8個節點集羣的azure hdinsight。我正在運行配置單元查詢佔用所有工作節點。當我檢查紗線節點-list，下面列出：我可以縮小azure hdinsight羣集嗎？

Node-Id    Node-State Node-Http-Address  No-of-Running-Containers 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8 
X.X.X.X:00050  RUNNING X.X.X.X:00060     8

一些小時後，映射器已經完成，2個減速運行，象下面這樣：

Node-Id    Node-State Node-Http-Address  No-of-Running-Containers 
X.X.X.X:00050  RUNNING X.X.X.X:00060     0 
X.X.X.X:00050  RUNNING X.X.X.X:00060     1 
X.X.X.X:00050  RUNNING X.X.X.X:00060     0 
X.X.X.X:00050  RUNNING X.X.X.X:00060     0 
X.X.X.X:00050  RUNNING X.X.X.X:00060     1 
X.X.X.X:00050  RUNNING X.X.X.X:00060     0 
X.X.X.X:00050  RUNNING X.X.X.X:00060     0 
X.X.X.X:00050  RUNNING X.X.X.X:00060     0

在這個階段到達時，我們能否縮小不影響正在運行的2個工作節點的集羣？

來源

2017-05-26 natarajan k

您是否檢查減速器讀取/寫入哪些HDFS DataNode？在重新平衡文件塊的方面，您是否讀過關於DataNode意味着「退役」的內容，以便每個文件塊仍被複制3次？ –

換句話說，Hadoop不僅是一個分佈式計算框架，它還是一個分佈式**文件系統**。它移動數據。你會在運行時將硬盤從筆記本電腦中掏出來嗎？ –

就我個人而言，我還沒有試圖擴展正在運行的HDInsight羣集，但我已閱讀支持的羣集擴展操作（在作業正在運行時）的官方documentation。支持的應用程序是：

Hadoop的
HBase的
星火

你可能不應該與蜂巢查詢運行，因爲（1）蜂巢不在列表規模，和（2）該文檔描述瞭如果按照以下方式運行作業縮減Hadoop作業會發生什麼情況。恕我直言，這可能發生在Hive工作上。

當通過減少數據節點數量來縮小Hadoop集羣時，集羣中的某些服務將重新啓動。這會導致所有正在運行的待執行作業在完成縮放操作時失敗。但是，您可以在完成操作後重新提交作業。

來源

2017-05-30 02:40:00 volatilevar

我可以縮小azure hdinsight羣集嗎？

回答

相關問題