在DSE 4.8 Spark羣集上運行Python作業時出錯。

我剛剛在DSE cluster 4.8上運行Spark（pyspark）時出現了一個奇怪的問題。出於某種原因，當作業運行時，我得到了幾十個錯誤，如下所述。無論如何，任何人都知道有什麼辦法來關閉這個錯誤？在DSE 4.8 Spark羣集上運行Python作業時出錯。

我正在使用dse spark-submit命令。

ERROR 2016-04-04 12:49:21,305 org.apache.spark.scheduler.cluster.SparkDeploySchedulerBackend: Asked to remove non-existent executor 747 
ERROR 2016-04-04 12:49:21,305 org.apache.spark.scheduler.cluster.SparkDeploySchedulerBackend: Asked to remove non-existent executor 748 
ERROR 2016-04-04 12:49:21,347 org.apache.spark.scheduler.cluster.SparkDeploySchedulerBackend: Asked to remove non-existent executor 749 
ERROR 2016-04-04 12:49:21,388 org.apache.spark.scheduler.cluster.SparkDeploySchedulerBackend: Asked to remove non-existent executor 750

來源

2016-04-04 jguerra

好吧，它似乎是一個內存問題。基本上當執行器耗盡內存時，錯誤開始彈出。 – jguerra

當我看到這則消息「要求刪除不存在的執行者」，這意味着在執行失事原因不同，因此顯然火花不能殺死它。查看執行程序日誌以查明它爲何崩潰。

也有可能你有網絡問題，你的驅動程序和執行程序無法通信。在這種情況下也看到了這個消息。

來源

2016-04-04 17:13:03 phact

我看到很多這樣的錯誤：＃沒有足夠的內存讓Java運行時環境繼續運行。＃本地內存分配（mmap）無法映射提交保留內存的3579314176字節。＃包含更多信息的錯誤報告文件另存爲：＃/cassandra/data/spark/worker/worker-0/app-20160404163740-0012/725/hs_err_pid3930.log。我很感激安裝線索，ps。謝謝 – jguerra

這也是stderr的輸出：Java HotSpot（TM）64位服務器VM警告：INFO：os :: commit_memory（0x0000000680000000,3579314176,0）失敗;錯誤='無法分配內存'（errno = 12） – jguerra

在DSE 4.8 Spark羣集上運行Python作業時出錯。

回答

相關問題