Spark shell不執行'初始作業沒有接受任何資源'

Question

我正在使用AWS EC2實例，其中安裝了Spark 2.2.0，並且有8 GB的RAM和2個內核。

我下面這個教程來用一下pyspark外殼：
https://sparkour.urizone.net/recipes/managing-clusters/

我開始主，我開始一個從工人，他們出現在Web UI上。

然而，在殼，當我嘗試像執行命令：

>>> tf = spark.sparkContext.textFile('README.md') 
>>> tf.count() 

我得到這樣的：

[階段0：>（0 + 0）/ 2]
17/08/29 11:02:51 WARN TaskSchedulerImpl：初始作業未接受任何資源;檢查你的集羣用戶界面，以確保 工人註冊，並擁有足夠的資源

在我spark-env.sh，我設置的變量是這樣的：

SPARK_LOCAL_IP=127.0.0.1 
SPARK_MASTER_HOST=127.0.0.1 
SPARK_WORKER_INSTANCES=2 
SPARK_WORKER_MEMORY=1000m 
SPARK_WORKER_CORES=1 

所以，我不知道爲什麼有一個問題。我猜，pyspark shell並沒有正確地到達worker slave。

Answer 1

在此設置中我會用這樣的設置啓動火花：

spark-shell (or spark-submit) --master local[*] --driver-memory 4G ...

從我的意見之一：

這麼小的機器，我懷疑你將無法在羣集模式下運行。事情是火花司機需要資源以及其他兩名工人。在這種情況下，您有1個核心驅動程序+ 2個工作者* 1核心。你可以嘗試將工作人員的數量調整到1，並且應該可以工作。