如何從Spark羣集作業中排除節點？

Question

我在PySpark有一份工作，使用sci-kit學習0.16.1。集羣管理最近添加了許多使用sci-kit學習0.17.1的節點，並且更改了對象的API。必要的升級或降級將需要一段時間，所以我正在尋找如何在提交我的工作時排除某些節點。這是可能的，如果是這樣，我應該在哪裏做？在YARN或火花提交行動？

Answer 1

請檢查yarn-site.xml，您可以在其中配置要包含或從紗線羣中排除的節點。例如在https://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-common/yarn-default.xml中檢查「yarn.resourcemanager.nodes.include-path」和「yarn.resourcemanager.nodes.exclude-path」屬性。