在計劃程序池中提交Spark作業

Question

我在集羣模式下運行Spark流作業，我創建了一個內存爲200GB（CDH）的池。我想該池中運行我的火花流的工作，我嘗試設置

sc.setLocalProperty("spark.scheduler.pool", "pool") 

的代碼，但它不工作，我也嘗試了 spark.scheduler.pool seems not working in spark streaming，每當我運行它會在默認池中的工作。可能的問題是什麼？提交作業時是否可以添加任何配置？

Answer 1

在紗線我們可以添加

--conf spark.yarn.queue="que_name" 到​​命令。然後它將僅使用該特定隊列及其資源。