Spark：隨機操作導致長時間的GC暫停

我正在運行Spark 2，並且正在嘗試混洗5 TB左右的json。我是一個Dataset的洗牌過程中遇到了很長的垃圾收集暫停：Spark：隨機操作導致長時間的GC暫停

val operations = spark.read.json(inPath).as[MyClass] 
operations.repartition(partitions, operations("id")).write.parquet("s3a://foo")

是否有任何明顯的配置調整來解決這個問題？我的配置如下：

spark.driver.maxResultSize 6G 
spark.driver.memory 10G 
spark.executor.extraJavaOptions -XX:+UseG1GC -XX:MaxPermSize=1G -XX:+HeapDumpOnOutOfMemoryError 
spark.executor.memory 32G 
spark.hadoop.fs.s3a.buffer.dir /raid0/spark 
spark.hadoop.fs.s3n.buffer.dir /raid0/spark 
spark.hadoop.fs.s3n.multipart.uploads.enabled true 
spark.hadoop.parquet.block.size 2147483648 
spark.hadoop.parquet.enable.summary-metadata false 
spark.local.dir /raid0/spark 
spark.memory.fraction 0.8 
spark.mesos.coarse true 
spark.mesos.constraints priority:1 
spark.mesos.executor.memoryOverhead 16000 
spark.network.timeout 600 
spark.rpc.message.maxSize 1000 
spark.speculation false 
spark.sql.parquet.mergeSchema false 
spark.sql.planner.externalSort true 
spark.submit.deployMode client 
spark.task.cpus 1

來源

2016-08-16 Luke

您確定您需要1G MaxPermSize？也許它值得使用Java8（所以在OpenJDK/OracleJDK的情況下，該選項被忽略）。 –

添加以下標誌擺脫了GC暫停。

spark.executor.extraJavaOptions -XX:+UseG1GC -XX:InitiatingHeapOccupancyPercent=35 -XX:ConcGCThreads=12

我認爲它確實需要大量的調整。 databricks post是This，非常有幫助。

來源

2016-08-23 21:47:12 Luke

Spark：隨機操作導致長時間的GC暫停

回答

相關問題