Spark獨立羣集行爲查詢

Question

我們有兩臺Linux，每臺20個核心。我們需要使用spark scheduler設置獨立羣集。目前我們暫時還沒有cloudera/Hortonwork。我的查詢是關於Spark Scheduler的。

如果我創建一個主機和從機的unix機器和第二臺機器作爲從機節點，我可以運行多少個內核來運行火花代碼。它會是40或更少？我可以在羣集模式下在此羣集上運行多個作業嗎？

Answer 1

你需要一個內核驅動程序，所以你可以有執行者的最大內核數爲39

羣集運行的作業如何取決於你如何配置resource scheduling。目前，在獨立模式下僅支持單個應用程序中的FIFO作業調度，但您可以將可變數量的資源分配給不同的應用程序。