SparkPi程序繼續在Yarn/Spark/Google計算引擎下運行

在Google Compute Engine上部署了一個Hadoop（Yarn + Spark）羣集，其中包含一個主機&兩個從機。當我運行以下shell腳本時：SparkPi程序繼續在Yarn/Spark/Google計算引擎下運行

spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --num -executions 1 --driver-memory 1g --executor- 1G內存--executor-核心1 /home/hadoop/spark-install/lib/spark-examples-1.1.0-hadoop2.4.0.jar 10

工作只是保持運行&每一秒鐘我得到一個消息與此類似：

15/02/06 22:47:12 INFO yarn.Client: Application report from ResourceManager: 
     application identifier: application_1423247324488_0008<br> 
     appId: 8<br> 
     clientToAMToken: null<br> 
     appDiagnostics:<br> 
     appMasterHost: hadoop-w-zrem.c.myapp.internal<br> 
     appQueue: default<br> 
     appMasterRpcPort: 0<br> 
     appStartTime: 1423261517468<br> 
     yarnAppState: RUNNING<br> 
     distributedFinalState: UNDEFINED<br> 
     appTrackingUrl: http://hadoop-m-xxxx:8088/proxy/application_1423247324488_0008/<br> 
     appUser: achitre

來源

2015-02-06 DilTeam

而不是--master yarn-cluster使用--master yarn-client

來源

2015-02-07 11:14:12 baju

我出現以下情況例外，當我使用的紗線客戶端：異常線程「main」 org.apache.spark.SparkException： SparkContext已在org.apache.spark.SparkContext.runJob（SparkContext已經停運。在org.apache.spark.SparkContext.runJob（SparkContext.scala：1158） at org.apache.spark.rdd.RDD.reduce（RDD.scala：861） at org.apache.spark。例如.SparkPi $ .main（SparkPi.scala：35） at org.apache.spark.examples.SparkPi.main（SparkPi.scala） – DilTeam 2015-02-07 17:01:12

您是否在完成作業 - 獲取結果或收到結果之前收到它？ – baju 2015-02-07 22:19:16

當我運行'yarn logs -applicationId 我注意到下面的異常; 線程「主」java.lang.NumberFormatException中的異常：對於輸入字符串：「5999m」 – DilTeam 2015-02-08 03:29:10

添加下面一行到我的腳本後，它的工作：

出口SPARK_JAVA_OPTS =「 - Dspark.yarn.executor.memoryOverhead = 1024 -Dspark.local.dir =/tmp目錄-Dspark.executor .memory = 1024「

我想，在指定內存時我們不應該使用'm'，'g'等。否則我們會得到NumberFormatException。

來源

2015-02-08 03:57:12 DilTeam

很多時候我以這種方式指定內存，我沒有收到任何錯誤。更重要的是，在Spark文檔中，您擁有這樣的內容： 'SPARK_WORKER_MEMORY 允許Spark應用程序在機器上使用的內存總量。 1000米，2克（默認值：總內存減1 GB）;請注意，每個應用程序的單獨內存都使用其spark.executor.memory屬性進行配置。＃ – baju 2015-02-08 09:45:28

您是否在Yarn下嘗試了？ – DilTeam 2015-02-08 20:01:18

是 - 僅在紗線下 – baju 2015-02-08 22:44:18

SparkPi程序繼續在Yarn/Spark/Google計算引擎下運行

回答

相關問題