用Zookeeper在Mesos上運行一個簡單的Spark腳本

我想運行一個簡單的spark程序，但是我受到一些錯誤的限制。我的環境是： CentOS的：6.6 的Java：1.7.0_51 斯卡拉：2.10.4 星火：火花1.4.0彬hadoop2.6 Mesos：0.22.1用Zookeeper在Mesos上運行一個簡單的Spark腳本

所有安裝和節點up.Now我有一個Mesos主和Mesos從屬節點。我的火花性質如下：

spark.app.id   20150624-185838-2885789888-5050-1291-0005 
spark.app.name   Spark shell 
spark.driver.host 192.168.1.172 
spark.driver.memory 512m 
spark.driver.port 46428 
spark.executor.id driver 
spark.executor.memory 512m 
spark.executor.uri http://192.168.1.172:8080/spark-1.4.0-bin-hadoop2.6.tgz 
spark.externalBlockStore.folderName spark-91aafe3b-01a8-4c86-ac3b-999e278807c5 
spark.fileserver.uri http://192.168.1.172:51240 
spark.jars 
spark.master   mesos://zk://192.168.1.172:2181/mesos 
spark.mesos.coarse true 
spark.repl.class.uri http://192.168.1.172:51600 
spark.scheduler.mode FIFO

現在，當我開始的火花，它涉及到斯卡拉提示符（斯卡拉>）。之後，我得到以下錯誤：mesos任務1現在是TASK_FAILED，因故障太多而被列入黑名單mesos slave值的是Spark安裝在其上如何解決此問題。

來源

2015-06-24 user3374023

您可以檢查mesos從站日誌/任務信息以獲取更多關於該任務失敗原因的輸出信息。你可以看看：5050。

可能無關的問題：你真的有飼養員：

spark.master mesos://zk://192.168.1.172:2181/mesos

運行（如你所說，你只能有一個主站）？

來源

2015-06-25 06:03:56 js84

這只是不斷重複TASK_FAILED..5050啓動並運行。我想增加主人，所以我保持zk。 BTW。這是有900 MB的內存可用，增加到2GB後，它看起來工作。所以可能的記憶是問題！謝謝.. – user3374023

只有900MB和spark.driver.memory = 512m，您將能夠啓動調度程序/ REPL，但您沒有足夠的內存用於spark.executor.memory = 512m，因此任何任務都將失敗。要麼增加虛擬機內存大小，要麼減少驅動程序/執行程序內存需求將有助於避開這些內存限制。

來源

2015-06-30 08:19:31 Adam

你的意思是512m提到的也適用於工人。這意味着900-512 = 388米，可能是原因？ – user3374023

driver.memory適用於驅動程序正在運行的位置，但除了您的任務所需的資源外，還需要executor.memory（也是512m）。執行者是執行任務的執行者。如果您在相同的單個從節點上運行驅動程序和執行程序/任務，則會導致內存不足。 – Adam

用Zookeeper在Mesos上運行一個簡單的Spark腳本

回答

相關問題