爲什麼Spark UI只顯示每個工作者6個可用內核，而我有更多？

Question

爲什麼Spark UI只顯示6個內核可用每位工作者（不是核心數使用），而我的每臺3臺計算機上都有16個（8個插槽* 2個內核/插槽），甚至32個如果接受計算每個內核的線程數（2）。我試圖在spark-env.sh文件中設置SPARK_WORKER_CORES，但它沒有改變（我對所有3名工作人員進行了更改）。我也評論線，看它是否改變了一句：可用內核的數量總是停留在6

我使用星火2.2.0在獨立的集羣：

pyspark --master spark://myurl:7077 

結果lscpu命令：

Answer 1

我發現我只是不得不停止主控和從屬，並重新啓動它們，以便刷新參數SPARK_WORKER_CORES。