如何配置紗線以使用所有vcore？

我們正在運行的火花流媒體使用的紗線作爲集羣管理器的工作，如在PIC下面如何配置紗線以使用所有vcore？

時，我有專門的每個節點7個內核，每個節點通過...紗的site.xml作業正在運行..它是唯一使用2 vcores和5 vcores被單獨留在家中和工作速度慢與大量批排隊..

我們怎樣才能讓它在使用所有7個vcores ..這是可用的，這是運行時的使用情況，以便加快我們的工作

將不勝感激，如果任何在社會上的專家都會幫忙，因爲我們是新的紗線&星火

2017-02-09 user2359997

你能給我們給出的參數，比如執行器 - 核心，執行器 - 內存，執行器 - 實例。這個鏈接可以幫助你，我想。 https://spark.apache.org/docs/1.6.2/running-on-yarn.html – Vezir

在火花級別，您可以通過使用參數spark.yarn.am.cores控制紗線的應用大師的核心。

對於火花執行器，您需要將--executor-cores傳遞給。

然而，由於火花，你無法控制紗線選擇分配給它產生的容器的哪一個是正確的，因爲你正在紗線上運行火花。
爲了控制，您將需要更改像yarn.nodemanager.resource.cpu-vcores,yarn.scheduler.minimum-allocation-vcores這樣的紗線vcore參數。更多你可以在這裏找到https://www.cloudera.com/documentation/enterprise/5-3-x/topics/cdh_ig_yarn_tuning.html#configuring_in_cm

來源

2017-02-18 12:16:27

如何配置紗線以使用所有vcore？

回答

相關問題