帶集羣模式的Spark 2.1忽略extraJavaOptions

我們正在運行HortonWorks Spark Distribution 2.1。我們注意到，當我們使用yarn-cluster作爲master運行Spark時，我們作爲executors.extraJavaOptions傳遞的任何內容都被完全忽略，並且作業在執行程序中維護默認值（如通過Spark UI所示）。帶集羣模式的Spark 2.1忽略extraJavaOptions

我想知道是否有人注意到任何類似的東西，並有一些智慧分享。我很樂意提供所需的更多細節。

更新：這是命令執行，與選項一起，如要求：

spark-submit --name streaming-driver --num-executors 40 
    --conf spark.metrics.conf=streaming.metrics.properties 
    --files kafka_client_jaas.conf#kafka_client_jaas.conf, 
      appconf.conf#appconf.conf, 
      streaming.metrics.properties#streaming.metrics.properties, 
      kafka.conf#kafka.conf,log4j.properties#log4j.properties 
    --conf "spark.executor.extraJavaOptions= 
       -Dcom.sun.management.jmxremote 
       -Dcom.sun.management.jmxremote.port=0 
       -Dcom.sun.management.jmxremote.rmi.port=0 
       -Dcom.sun.management.jmxremote.authenticate=false 
       -Dcom.sun.management.jmxremote.ssl=false 
       -Dcom.sun.management.jmxremote.local.only=false 
       -Djava.security.auth.login.config=./kafka_client_jaas.conf 
       -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode" 
    --conf spark.metrics.conf=streaming.metrics.properties 
    --conf spark.hadoop.yarn.timeline-service.enabled=false 
    --driver-java-options=" 
      -Dhdp.version=2.5.3.0-37 -Dconfig.file=appconf.conf 
      -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode 
      -Dlog4j.configuration=log4j.properties 
      -Djava.security.auth.login.config=./kafka_client_jaas.conf 
      -Dcom.sun.management.jmxremote 
      -Dcom.sun.management.jmxremote.port=0 
      -Dcom.sun.management.jmxremote.rmi.port=0 
      -Dcom.sun.management.jmxremote.authenticate=false 
      -Dcom.sun.management.jmxremote.ssl=false 
      -Dcom.sun.management.jmxremote.local.only=false" 
    --master yarn-cluster 
    --driver-memory "6g" 
    --properties-file spark.conf --class < class> application.jar

注意這是稍微因爲像keytabs等一些其他安全參數不存在換行符爲好，把這裏的修改只有這樣它才更具可讀性。

來源

2017-12-03 Y.K.

如何指定選項？用命令行編輯你的問題。 –

看起來你正在環繞spark.executor.extraJavaOptions proery也在雙倒排引號內。我認爲只有值應該在這樣的引號裏面：

--conf spark.executor.extraJavaOptions=" 
        -Dcom.sun.management.jmxremote 
        -Dcom.sun.management.jmxremote.port=0 
        -Dcom.sun.management.jmxremote.rmi.port=0 
        -Dcom.sun.management.jmxremote.authenticate=false 
        -Dcom.sun.management.jmxremote.ssl=false 
        -Dcom.sun.management.jmxremote.local.only=false 
        -Djava.security.auth.login.config=./kafka_client_jaas.conf 
        -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode"

來源

2017-12-03 17:39:43

不幸的是，我試圖按照你的建議去做，仍然是同樣的錯誤。 –

帶集羣模式的Spark 2.1忽略extraJavaOptions

回答

相關問題