有沒有辦法設置火花執行器進程的niceness設置？

我有一羣我必須與其他進程共享的機器。讓我們說我不是一個好人，並且希望我的火藥執行者流程能夠優先於其他人的流程。我該如何設置？有沒有辦法設置火花執行器進程的niceness設置？

我使用的獨立模式，V2.01，上RHEL7

運行

來源

2016-11-14 ThatDataGuy

[獨立集羣模式當前僅支持跨應用程序的簡單FIFO調度程序。]（https://spark.apache.org/docs/2.0.1/spark-standalone.html#resource-scheduling） –

我不' t意味着相對於同一個主節點上的其他火花應用的優先級，我的意思是節點上的其他進程。例如，運行諸如HTCondor等應用程序的其他進程。 – ThatDataGuy

一種方式是超額訂購羣集中的核心。 – mrsrinivas

分配所有資源火花申請留下需要的操作系統運行最小資源。

一個簡單的場景： 想象與運行NodeManagers（紗模式）六個節點，每個都配有16個內核和64GB的內存簇。 NodeManager容量yarn.nodemanager.resource.memory-mb和yarn.nodemanager.resource.cpu-vcores應該分別設置爲63 * 1024 = 64512（兆字節）和15。我們避免將100％的資源分配給YARN容器，因爲節點需要一些資源來運行OS和Hadoop守護進程。在這種情況下，我們爲這些系統進程留下了一個千兆字節和一個核心。

來源

2016-11-14 17:44:09

火花簇不使用YARN。其次，它已經忙於與其他工作負載無關的任何方式。 – ThatDataGuy

有沒有辦法設置火花執行器進程的niceness設置？

回答

相關問題