有沒有辦法限制應用程序主機在特定節點上啓動？

Question

我有一個羣集設置與不可靠的節點，可以下降（他們是aws現貨實例）。我試圖確保我的應用程序主控只在集羣的可靠節點（aws on demand實例）上啓動。是否有相同的解決方法？我的集羣由hortonworks ambari管理。

Answer 1

這可以通過使用節點標籤來實現。我能夠使用Spark spark.yarn.am.nodeLabelExpression中的屬性將我的應用程序主控制器限制爲在紗線上運行spark時的一組節點。將節點標籤添加到要用於應用程序主控的任何節點。