dse spark-submit：提交作業時未使用內核（正在運行的應用程序「Cores = 0」，每個核心有3個可用的核心）

Question

我發送一個作業到我的spark dse集羣，由3個4核每。

作業已正確發送到我的羣集，但是Cores保持爲零，並且作業正在等待資源。 3名工作人員每人都閒置4個核心。我不明白他們爲什麼不參與。

See spark ui screenshot here

工作是利用發送：sudo -u cassandra dse spark-submit --master spark://XX.XX.XX.XXX:7077 --executor-cores=4 --total-executor-cores=4 --executor-memory=16g --class com.MyClass /home/spark.jar

，並給了我下面的消息：Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

沒什麼火花日誌特殊。 任何想法？

Answer 1

您發送的作業爲--executor-memory=16g，但每位工作人員只有8g。

試着用--executor-memory=8g來運行它，你應該沒事吧