是否可以使用SRdd讀取1 GB以上的NetCDF文件？

我們使用SciSpark使用SRdd的概念讀取NetCDF文件。一旦我們疲勞讀取1GB以上的文件，我們就會收到錯誤信息。是否可以使用SRdd讀取1 GB以上的NetCDF文件？

VAL數據= sc.OpenPath（「/家庭/項目/ TESTDATA」，列表（「朗姆酒」））

有沒有在此代碼的任何問題嗎？

收到錯誤：java.lang.OutOfMemoryError：Java堆空間

2016-05-20 Deepak Renni

如果我的理解對不對，SciSpark是星火庫，你spark-shell或運行代碼。如果是這樣，你只需要指定正確的內存選項，例如：

spark-shell --driver-memory 2g --executor-memory 8g

來源

2016-05-20 10:31:37

感謝維塔利Kotlyarenko ......但是，如何在這種情況下應用此火花殼--driver-2G內存--executor-8G內存 –

這取決於你如何運行你的代碼。你使用spark-submit或其他腳本嗎？ –

它與小數據集一起工作，但在1 GB以上文件上出現錯誤。 val conf = new SparkConf（） conf.setAppName（「test11」） conf.set（「spark.executor.memory」，「12g」） conf.set（「spark.driver.memory」，「2g」）（本地[*]） val sc = new SciSparkContext（conf） –

是否可以使用SRdd讀取1 GB以上的NetCDF文件？

回答

相關問題