2017-01-04 40 views
-1

我正在運行dcos spark-submit,並且它每次都在下載Docker鏡像,說它看起來像是第一次運行。 Dint在google上找到這一點。mesos dcos:spark繼續下載docker鏡像

spark_submit_jobs$ dcos spark run --submit-args='-Dspark.mesos.coarse=true --driver-cores 1 --driver-memory 1024M --class org.apache.spark.examples.SparkPi https://downloads.mesosphere.com/spark/assets/spark-examples_2.10-1.4.0-SNAPSHOT.jar 30' 

在本地找不到Spark分佈spark-1.6.2。 看起來這是你第一次運行Spark! 正在下載https://downloads.mesosphere.com/spark/assets/spark-1.6.2.tgz ...

嘗試拆卸和安裝火花。

我運行:1.0.1-1.6.2和1.0.6-2.0.2-Hadoop的2.6

我有一個運行一切兩個不同版本的火花的兩簇是確定的,但在其他的導致舊版本的問題。

+0

「卸載和安裝Spark」是什麼意思?這沒有任何意義的IMO,因爲你似乎在運行Docker鏡像,這意味着不會有「安裝」... – Tobi

+0

@Tobi當我說安裝我的意思是,包安裝:dcos package install --package-version = 1.0.1-1.6.2 --options = spark.json spark – cloudvar

回答

0

兩個可能的原因:

1.6.2保存文件TMP目錄其中獲得超過編寫的所有時間1.6.3

使用root帳戶嘗試運行DCOS命令。