必須將主url設置爲您的配置（AWS上的Spark scala）

這是我通過intellij寫的。我計劃最終編寫更大的Spark Spark文件。

無論如何，我上傳了一個我創建的AWS羣集。 "master"行第11行是"master("local")"。我遇到了這個錯誤

第二張圖片是AWS未能成功運行時返回的錯誤。我改變線11到"yarn"代替local（參見其當前狀態的第一圖像）

它仍然是返回相同的錯誤。當我手動上傳時，我輸入了以下標誌 --steps Type=CUSTOM_JAR,Name="SimpleApp"

它在兩週前運行。我的朋友做了和我完全一樣的事情。我不確定它爲什麼不起作用。

我正在尋找一個簡短的解釋和答案。看起來我需要更多關於火花如何工作的知識。

我正在與亞馬遜EMR合作。

來源

2016-10-02 Ashwin Iyer

'第11行是「主（」本地「）」。我遇到了這個錯誤'。在圖像上它是「紗線」 - 爲什麼添加圖像，如果它是誤導... –

請複製代碼部分並刪除快照圖像 –

@Ashwin Iyer我剛剛添加了示例如何設置master到SparkConf – VladoDemcak

我覺得你用「老辦法」火花1.6.x的方式和舊版本創建SparkContext行9 - 你需要設置主默認配置文件（通常位置conf/spark-defaults.conf）或它傳遞給火花提交（它需要在new SparkConf()）...

在第10行要創建一個使用SparkSesion「火花」上下文這是spark 2.0.0方法。所以在我看來你的問題是行號。 9，我認爲你應該刪除它並使用SparkSesion或爲SparkContext設置reqiered配置如果你需要sc。

您可以訪問到sparkContext與sparkSession.sparkContext();

如果你仍然想使用SparkConf你需要編程定義主：在

val sparkConf = new SparkConf() 
        .setAppName("spark-application-name") 
        .setMaster("local[4]") 
        .set("spark.executor.memory","512m");

或聲明的方式conf/spark-defaults.conf

spark.master   local[4] 
spark.executor.memory 512m

或只需在運行時：

./bin/spark-submit --name "spark-application-name" --master local[4] --executor-memory 512m your-spark-job.jar

來源

2016-10-02 18:42:59 VladoDemcak

嘗試使用下面的代碼：

val spark = SparkSession.builder().master("spark://ec2-xx-xxx-xxx-xxx.compute-1.amazonaws.com:xxxx").appName("example").getOrCreate()

您需要提供正確的鏈接到您的AWS集羣。

來源

2017-04-19 18:16:32

必須將主url設置爲您的配置（AWS上的Spark scala）

回答

相關問題