Python Spark：Java內存不足錯誤

Question

我正在嘗試使用spark的幫助加載tif文件時遇到問題。它給我的錯誤：

Caused by: java.lang.OutOfMemoryError: Java heap space

import thunder as td 
sc = SparkContext("local","app1") 
img = td.images.fromtif('20160511_HuC_H2B_G6s_F1_00002.tif','tif',None,None,False,None,None,None,sc,None).npartitions(100) 

1 - 我試着用

spark.executor.memory 2000m

2 - 我想更新 「spark-env.sh」 和 「火花defaults.conf」讓這樣的：

sc = SparkContext("local","app1","--executor-memory 20G") 

3-我嘗試添加變量配置

（更新）

conf = SparkConf().set("spark.executor.memory", "2000m") 
sc = SparkContext("local","simple app", conf = conf) 

4-加我來砸文件：

export _JAVA_OPTIONS="-Xms512m -Xmx4g"

我每次都得到了同樣的錯誤，我將不勝感激任何形式的幫助。

Answer 1

我找到了解決方案。首先我下載火花的源代碼，然後我再SBT建造它，不是之後我的conf文件中創建spark-env.sh下列要求：

SPARK_EXECUTOR_INSTANCES=14 
SPARK_EXECUTOR_MEMORY=4G 
SPARK_DRIVER_MEMORY=4G 

我試過火花的預建版本，與此之前，但它沒有奏效。