1
A
回答
0
spark-env.sh:將所有諸如
SPARK_YARN_USER_ENV
SPARK_HOME
等需要這些環境變量火花設備正常工作的系統環境變量。 spark-env.sh是一個shell腳本文件火花defaults.conf:該文件將所有的火花CONFIGS如
spark.local.dir
,spark.yarn.jars
。這些配置對於Spark工作正常運行是必需的。以下是Spark的文檔。
斌/火花提交也將讀取從 CONF /火花defaults.conf,其中的每一行由一個鍵和由空格分開的 值的配置選項。例如:
spark.master spark://5.6.7.8:7077 spark.executor.memory 4g spark.eventLog.enabled true spark.serializer org.apache.spark.serializer.KryoSerializer Any values specified as
標誌或在屬性文件將被傳遞到應用程序 以及與那些通過SparkConf指定合併。直接在SparkConf上設置 屬性的優先級最高,然後標誌將 傳遞給spark-submit或spark-shell,然後選擇 spark-defaults.conf文件中的選項。自早期版本的Spark以來,幾個配置鍵已被重命名爲 ;在這種情況下,舊密鑰名稱 仍然可以接受,但優先級低於新密鑰的任何實例。
相關問題
- 1. 爲什麼PHP有兩個擴展文件夾?我需要他們兩個嗎?
- 2. 爲什麼我們需要設置SONAR_RUNNER_OPTS?
- 3. codeigniter兩個不同的file_upload需要兩個不同的配置
- 4. 裝配需要什麼?爲什麼我們使用它們?
- 5. 爲什麼我們需要卡夫卡到數據反饋到Apache火花
- 6. Ruby:爲什麼我們不需要`attr_accessor`?
- 7. WCF配置文件:爲什麼我們在綁定部分需要clientBaseAddress?
- 8. ELF文件 - 什麼是部分,爲什麼我們需要它?
- 9. 爲什麼火花
- 10. 爲什麼我們需要爲IMessenger.Subscribe()明確設置收件人?
- 11. 爲什麼我們需要指針的不同數據類型?
- 12. 當我們有.java文件可用時,爲什麼我們需要JSP文件?
- 13. 爲什麼我們需要投放變量而不分配它?
- 14. 爲什麼我們需要.htaccess的worpdress?
- 15. 爲什麼我們需要爲openstack創建localrc文件
- 16. 爲什麼我們需要git add命令中的文件名?
- 17. 爲什麼我們需要Java和Applet中的JNLP文件?
- 18. 爲什麼我們需要文件系統的目錄結構?
- 19. sigaction - 爲什麼我們不需要重置處理程序?
- 20. 爲什麼iOS通用應用程序需要兩個不同的xib文件?
- 21. 我需要爲ImmediateTrigger設置什麼樣的失火指示?
- 22. DavLockDB:我們需要什麼?
- 23. 爲什麼我不需要配置bean的環境接口
- 24. 我們什麼時候需要在nginx配置文件中使用http塊?
- 25. 火花階讀取配置文件
- 26. 爲什麼我們需要simple_one_for_one?
- 27. 爲什麼我們需要TensorFlow tf.Graph?
- 28. 爲什麼我們需要使用prompt.start()?
- 29. 爲什麼我們需要scalaz.stream迭代?
- 30. 爲什麼我們需要WCF
好吧假設我想設置一個屬性,這個屬性必須被我所有的spark工作使用。如果是這種情況,那麼我需要使用哪個屬性文件來設置該屬性? –
它應該在spark-defaults.conf下 –