2016-06-09 49 views
0

我已在AWS上使用3個m3.large實例創建了Datastax Enterprise集羣,其中所有3個節點都是運行Spark的分析節點。Datastax企業可用核心數

3 m3.large amazon實例每個都有2個內核,所以共有6個內核。

在Spark Master web ui上,我看到總共只有3個內核 - >在每個工作節點的web ui上,我只看到1個可用內核。

3個其他內核發生了什麼? DSE是否爲Cassandra或其他一些操作在每臺計算機上保留了1個內核?

謝謝

回答

0

提供DSE星火內核數默認爲(0.7 * total_number_of_cores)。在你的情況下,這將導致1.4被舍入到一個單一的核心。您可以通過編輯

/etc/dse/dse.yaml 

or 

install_location/resources/dse/conf/dse.yaml 

和調整

initial_spark_worker_resources: .7 

文檔下面也進入瞭如何修改星火設置更詳細的修改您的百分比。但是,需要注意的是,如果您的機器的所有核心都分配給Spark,則系統將結束上下文切換並降低性能。

https://docs.datastax.com/en/datastax_enterprise/4.5/datastax_enterprise/spark/sparkConf.html#sparkConf__sparkCfgMem