-1
我試圖節省如下， data.coalesce（1）.saveAsTextFile（outputPath）java.lang.OutOfMemoryError同時使用聚結（1）
的RDD但我得到的java.lang .OutOfMemoryError：無法獲取76個字節的內存，得到0
有沒有人遇到類似的問題，如果是的話，我想了解你是如何解決它
A
回答
0
可以請你提供更多細節在執行者的司機上得到OOM嗎？
通過您發佈的代碼coalesce（1）將強制所有執行程序將數據發送到單個執行程序，並且如果您的數據量很大，您將開始看到故障。
coalesce導致洗牌。 （所有mapperTask將數據發送到單個任務）。
按照http://bytepadding.com/big-data/spark/understanding-spark-through-map-reduce/深入瞭解
相關問題
- 1. java.lang.OutOfMemoryError：使用的ArrayList
- 2. 使用universalimageloader下載圖像時java.lang.OutOfMemoryError
- 3. java.lang.OutOfMemoryError時所使用的圖像
- 4. 使用axis = 1聚合多個函數
- 5. java.lang.OutOfMemoryError
- 6. java.lang.OutOfMemoryError
- 7. 定義結果如同＃1
- 8. java.lang.OutOfMemoryError，何時回收內存？
- 9. java.lang.OutOfMemoryError做javax.imageio.ImageIO.read時（ 「文件名」）
- 10. RapidMiner和WEKA：不同的聚類結果
- 11. 限制使用結果聚合物
- 12. 使用SCOPE MDX聚合層次結構
- 13. 如何使用聚結來完成
- 14. MXMLC Ant任務結果爲java.lang.OutOFMemoryError
- 15. 在一個聚合結果聚合函數使用LINQ
- 16. 繼續使用聚合物1.x或等待聚合物2.x可用？
- 17. 使用循環時的不同結果
- 18. 使用ASP.NET（MVC 1）devmachine和buildserver的不同結果
- 19. 使用++ int和INT + 1，並獲得不同的結果
- 20. 定義（1 << 31）或使用0x80000000？結果不同
- 21. 同時使用Knockout.js和聚合物導致錯誤
- 22. 使用不同的MongoDB聚合
- 23. java.lang.OutOfMemoryError同時顯示在圖庫中的圖片
- 24. java.lang.OutOfMemoryError setBackgroundResource
- 25. java.lang.OutOfMemoryError ArrayList.addAll（）
- 26. RabbitMQ java.lang.OutOfMemoryError
- 27. ImageLoader- java.lang.OutOfMemoryError
- 28. java.lang.OutOfMemoryError - 「org.apache.jasper.compiler.JspRuntimeContext」
- 29. java.lang.OutOfMemoryError BitmapFactory.nativeDecodeAsset（）
- 30. java.lang.outofmemoryError java
解決方法是不合並（1）。如果您想要一個輸出文件，請事後合併零件文件。 – puhlen