如何管理在R中生成大數據.tables？ （不讀大表）

Question

我一直在尋找解決方案，但似乎無法找到任何東西。

基本上我有一塊，我正在尋找擴展到大數據的代碼，代碼的樣本提取物是以下：

num_train <- 100 
num_test <- 100 

train <- data.table(k = rep(1,num_train), ID_train = 1:num_train, b_train = rnorm(num_train), c_train = rnorm(num_train), cat = sample(c("A", "B", "C", "D"), num_train, replace = TRUE)) 
test <- data.table(k = rep(1,num_test), ID_test = 1:num_test, b_test = rnorm(num_test), c_test = rnorm(num_test)) 

df <- merge(test,train, by="k") 

這將運行正是我希望它速度極快當我在更大的數據上使用它時。 （也許和num_train * num_test = 2,000,000,000 ...一樣大）

但是，問題在於生成的數據表是由num_train * num_test行增長的，所以很快R就無法處理。

num_train <- 1000 
num_test <- 10000 

train <- data.table(k = rep(1,num_train), ID_train = 1:num_train, b_train = rnorm(num_train), c_train = rnorm(num_train), cat = sample(c("A", "B", "C", "D"), num_train, replace = TRUE)) 
test <- data.table(k = rep(1,num_test), ID_test = 1:num_test, b_test = rnorm(num_test), c_test = rnorm(num_test)) 

df <- merge(test,train, by="k") 

>Error: cannot allocate vector of size 76.3 Mb 

我知道R的所有內存限制和包，如filehash，FF和bigmemory（不是太熟悉，已經使用了一些他們一點點的）。這些似乎允許您將大文件設置爲數據庫並有效地從中讀取數據。

但基本上我想知道的是，有沒有什麼辦法來管理創建從已經在內存中的表中的一個大表，就像它創建時將它的一部分寫入硬盤一樣？這些包中的任何一個都可以用於這個嗎？還有其他解決方案嗎？

或者這項工作只是不適用於R？

乾杯！

Answer 1

您可以使用軟件包ff和ffbase進行此操作。它不需要像data.table那樣將數據存入RAM中。 以下腳本將生成10Mio行x 10列data.frame。

num_train <- 1000 
num_test <- 10000 
train <- data.table(k = rep(1,num_train), ID_train = 1:num_train, b_train =  rnorm(num_train), c_train = rnorm(num_train), cat = sample(c("A", "B", "C", "D"), num_train,  replace = TRUE)) 
test <- data.table(k = rep(1,num_test), ID_test = 1:num_test, b_test = rnorm(num_test),  c_test = rnorm(num_test)) 


train <- data.frame(unclass(train), stringsAsFactors=TRUE) 
test <- data.frame(unclass(test), stringsAsFactors=TRUE) 
require(ffbase) 
train$id <- seq_len(nrow(train)) 
test$id <- seq_len(nrow(test)) 
train <- as.ffdf(data.frame(train, stringsAsFactors=TRUE)) 
test <- as.ffdf(data.frame(test, stringsAsFactors=TRUE)) 
x <- expand.ffgrid(train$id, test$id) 
dim(x) 
names(x) <- c("train.id", "test.id") 
x <- merge(x, train, by.x="train.id", by.y="id", all.x=TRUE, all.y=FALSE) 
x <- merge(x, test, by.x="test.id", by.y="id", all.x=TRUE, all.y=FALSE) 
dim(x) 
x[1:5, ]