H2o執行程序不工作的數量

./bin/sparkling-shell --num執行人4 --executor-4G內存--master紗客戶

我只得到兩個執行者。這是一個H2o問題，YARN問題還是Spark問題？

邁克

2016-05-13 big_mike_boiii

您使用的是Spark和Sparkling Water的哪個版本？你也可以exaplain「我只有兩個執行者」？你如何檢查它？ –

[如何使執行程序使用--num-executors運行spark程序？]（http://stackoverflow.com/questions/34352669/how-to-make-executors-run-spark-program-by- using-num-executors/34353466＃34353466） –

@GlennieHellesSindholt不幸的是，這實際上可能與Spakling Water關係更大，這與我的同事告訴我的有關。我們有類似的問題，並正在努力，希望OP給我們更多的信息，但。 –

我在Cloudera的經理改變了以下四個值的這種行爲

Setting         Value 
yarn.scheduler.maximum-allocation-vcores 8 
yarn.nodemanager.resource.cpu-vcores  4 
yarn.nodemanager.resource.cpu-vcores  4 
yarn.scheduler.maximum-allocation-mb  16 GB

來源

2016-05-16 23:58:25

可以有多個理由拿到過這個問題。

YARN只能根據可用資源（內存，核心）爲您提供執行程序的數量。如果你要求更多，那麼你有資源，它會給你最大可能的。

當您啓用動態分配時，也可能出現這種情況。這意味着Spark將在需要時創建新的執行者。

爲了解決Sparkling Water中的一些技術問題，我們需要通過創建人工計算並嘗試利用整個集羣來在應用程序的開始發現所有可用的執行程序。這可能會給你更少的執行者數量。

我會建議看看https://github.com/h2oai/sparkling-water/blob/master/doc/tutorials/backends.rst在哪裏你可以閱讀更多關於上面的段落以及如何使用所謂的外部蘇打水後端解決它。

你也可以看看這裏https://github.com/h2oai/sparkling-water/blob/master/doc/configuration/internal_backend_tuning.rst。這是Sparkling Water指南，用於調整配置。

Kuba

來源

2017-11-08 12:00:40

H2o執行程序不工作的數量

回答

相關問題