具有相同spark.local.dir的多個火花執行器

Question

通過設置以下屬性，我在Mesos Docker Containerizer上運行Spark應用程序。

--conf 'spark.local.dir=/var/lib/spark' 
--conf 'spark.mesos.executor.docker.image=my_spark_docker_image' 
--conf 'spark.mesos.executor.docker.volumes=/var/data/x-spark:/var/lib/spark,/opt/local/mesos:/opt/local/mesos:ro' 
--conf 'spark.executorEnv.MESOS_NATIVE_JAVA_LIBRARY=/opt/local/mesos/lib/libmesos.so' 

• 火種執行者Docker容器（由mesos推出泊塢窗）。
• 一個或多個Spark執行程序可能在同一主機上運行。
• spark.local.dir屬性是/var/lib/spark，它由docker從主機上掛載。

也就是說，主機上的所有Spark執行程序共享相同的本地目錄（/ var/data/x-spark）。

看來一切正常，但我擔心文件損壞。它安全嗎？

Answer 1

這是安全的。每個作業都將創建自己的子目錄。