我已在AWS上使用3個m3.large實例創建了Datastax Enterprise集羣,其中所有3個節點都是運行Spark的分析節點。Datastax企業可用核心數
3 m3.large amazon實例每個都有2個內核,所以共有6個內核。
在Spark Master web ui上,我看到總共只有3個內核 - >在每個工作節點的web ui上,我只看到1個可用內核。
3個其他內核發生了什麼? DSE是否爲Cassandra或其他一些操作在每臺計算機上保留了1個內核?
謝謝
我已在AWS上使用3個m3.large實例創建了Datastax Enterprise集羣,其中所有3個節點都是運行Spark的分析節點。Datastax企業可用核心數
3 m3.large amazon實例每個都有2個內核,所以共有6個內核。
在Spark Master web ui上,我看到總共只有3個內核 - >在每個工作節點的web ui上,我只看到1個可用內核。
3個其他內核發生了什麼? DSE是否爲Cassandra或其他一些操作在每臺計算機上保留了1個內核?
謝謝
提供DSE星火內核數默認爲(0.7 * total_number_of_cores)。在你的情況下,這將導致1.4被舍入到一個單一的核心。您可以通過編輯
/etc/dse/dse.yaml
or
install_location/resources/dse/conf/dse.yaml
和調整
initial_spark_worker_resources: .7
文檔下面也進入瞭如何修改星火設置更詳細的修改您的百分比。但是,需要注意的是,如果您的機器的所有核心都分配給Spark,則系統將結束上下文切換並降低性能。