1
我正在處理一個大的二進制數據文件(大於10GB),使用readBin讀取大約10分鐘,但後來我試圖將它強制轉換爲矩陣,大概是因爲我的機器內存不足。當我使用python時,我會在這種情況下使用numpy.mmemap來保持我的內存佔用量;有沒有R的等價物?numpy.memmap(Python)在R中等價嗎?
我正在處理一個大的二進制數據文件(大於10GB),使用readBin讀取大約10分鐘,但後來我試圖將它強制轉換爲矩陣,大概是因爲我的機器內存不足。當我使用python時,我會在這種情況下使用numpy.mmemap來保持我的內存佔用量;有沒有R的等價物?numpy.memmap(Python)在R中等價嗎?
也許這可以幫助你:
library(ff)
library(biglm)
data <- ffm("binarydata")
您還可以選擇僅顯示部分,所以節省了你的記憶:
data <- ffm("binarydata", c("col1", "clo2", "col3"))
也許** ** FF包?總是一個好主意,以[任務視圖](http://cran.r-project.org/web/views/HighPerformanceComputing.html)爲出發點。 – joran
你能提供更多細節嗎?你的數據看起來像什麼?在任何情況下,你都可以閱讀每一列,然後放在一起var = readBin(yourdata,character(),n = 3) – daniel