初始工作未接受任何資源;檢查你的集羣用戶界面，以確保工人註冊，並擁有足夠的資源

我試圖從Eclipse運行火花例子，讓這個普通的錯誤：Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources.初始工作未接受任何資源;檢查你的集羣用戶界面，以確保工人註冊，並擁有足夠的資源

我的版本是spark-1.6.2-bin-hadoop2.6.我開始使用./sbin/start-master.sh火花從shell命令，並設置我sparkConf這樣的：

SparkConf conf = new SparkConf().setAppName("Simple Application"); 
conf.setMaster("spark://My-Mac-mini.local:7077");

我不會把這裏的任何其他代碼，因爲這個錯誤與任何我運行實例彈出。該機器是Mac OSX，我很確定它有足夠的資源來運行最簡單的例子。

我錯過了什麼？

來源

2016-06-30 Eddy

是否能夠在eclipse之外運行示例？使用spark-submit？ – Knight71

我可以成功執行./bin/run-example SparkPi 10。 – Eddy

運行示例將使用本地[*]而不是您運行的火花主控。你能看到火花主UI和所有工作節點嗎？ – Knight71

該錯誤表示您的羣集沒有足夠的資源用於當前工作。因爲您尚未啓動從屬工作人員。羣集將沒有任何資源分配給您的工作。啓動奴隸將起作用。

`start-slave.sh <spark://master-ip:7077>`

來源

2016-06-30 12:41:54 Knight71

什麼是啓動奴隸？..我有1個主要1個從屬運行在EC2上，當我嘗試通過api提交python應用程序http://stackoverflow.com/questions/38359801/spark-job-submitted-waiting- taskschedulerimpl-initial-job-not-accepted - 獲得以上錯誤 –

錯誤是由於沒有足夠的資源，您的火花提交已經要求。檢查您的主UI用戶及其資源。並將其與火花提交參數進行比較。啓動奴隸意味着啓動員工流程。 – Knight71

POST - http://ec2-wxyz-compute-1.amazonaws.com:6066/v1/submissions/create body- { 「action」：「CreateSubmissionRequest」，「appArgs」：[「/ root/wordcount。 py「]，」appResource「：」file：/root/wordcount.py「，」clientSparkVersion「：」1.6。1" ，「environmentVariables」：{ 「SPARK_ENV_LOADED」：「1」 }，「mainClass」：「org.apache.spark.deploy.SparkSubmit」，「sparkProperties」：{ 「spark.driver.supervise」：「false」，「spark.app.name」：「MyApp」，「spark.eventLog.enabled」：「true」，「spark.submit.deployMode」：「cluster」，「spark.master」：「spark：//ec2-wxyz.compute-1.amazonaws.com：6066」 }} –

-1

嘗試使用「spark：//127.0.0.1：7077」作爲主地址而不是* .local name。有時候java不能解析.local地址 - 我不明白的原因。

來源

2016-06-30 09:17:59 river

這會產生一個「無法連接」的例外 – Eddy

請編輯更多信息，僅限代碼和「嘗試這個」答案，因爲它們不包含可搜索的內容，也不解釋爲什麼有人應該「嘗試這個」。我們在這裏努力成爲知識的資源。 – abarisone

初始工作未接受任何資源;檢查你的集羣用戶界面，以確保工人註冊，並擁有足夠的資源

回答

相關問題