分配紗構造的火花命令EMR

Question

我們有一個運行火花命令，但我們正面臨着一些磁盤空間問題 所以我們想利用

conf,yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk- 
     percentage=99.0 

，但我們得到了我們的日誌Warning: Ignoring non-spark config property: yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage=99.0？

我們如何得到它使火花藉此配置

""Spark_Command": "command-runner.jar,spark-submit, --class,com.go.ccc.ew.modules.fred.fmodel, --name,\\\"f module Module\\\", --master,yarn, --deploy-mode,client, --executor-memory,36G, --executor-cores,4, --conf,spark.sql.shuffle.partitions=640, --conf,spark.yarn.am.memoryOverhead=5120, --conf,yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk- percentage=99.0,/home/hadoop/linking.jar,jobId=# {myJobId},environment=dev"

Answer 1

的屬性是在紗線的site.xml而不是aspark相關的屬性。

您必須在紗線中設置此屬性並重新啓動紗線。然後你可以提交這份工作。

<property> 
<name> 
yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage 
</name> 
<value>90.0</value> 
<source>yarn-default.xml</source> 
</property> 

或者你也可以用更高的產量引導它。

我已經研究了一些關於動態改變紗線配置的內容。

但是紗線是集羣級屬性。

因此不能爲不同的應用程序動態更改。如果您找到解決方案，請發佈。它非常有趣。