ff - 優文庫

ff

0熱度

1回答

我有一個大的矩陣（1,000,000行1,140列），我正在使用ff包存儲。有沒有一種有效的方法來計算協方差矩陣？使用cov函數給出了以下錯誤： Error in cov(X) : supply both 'x' and 'y' or a matrix-like 'x' 考慮到cov不理解ff對象，這並不奇怪。我目前使用一個簡單的嵌套for循環： covarianceMatrix <- matr

0熱度

1回答

使用ff包讀取大文件時出錯

我正在嘗試使用「ff」包讀取大文件（1.51 GB）。下面的命令使用： atmins = read.csv.ffdf(file="atmins.csv", header=TRUE, VERBOSE=TRUE, first.rows=10000, next.rows=50000, colClasses=NA) 然而，一段時間後，我收到以下錯誤： Error in UseMet

0熱度

1回答

將值重新分配給ffdf中的列[R]

我在更大的數據集中執行以下操作時遇到問題。我想知道是否有內置的方法來使用ff或ffdf來完成它。實施例： require(ffbase) > iris Sepal.Length Sepal.Width Petal.Length Petal.Width Species 1 5.1 3.5 1.4 0.2 setosa 2 4.9 3.0 1.4 0

6熱度

2回答

如何處理r語言中的50GB大型csv文件？

我在這裏的「大數據處理」裏面比較新，希望能找到一些關於如何處理50 GB csv文件的建議。目前的問題是以下幾點：表看起來像是： ID,Address,City,States,... (50 more fields of characteristics of a house) 1,1,1st street,Chicago,IL,... # the first 1 is caused by w

3熱度

2回答

使用適用於大ffdfs

基本思路是這樣的：我有一個大的ffdf（約550萬x 136字段）。我知道這個數據框中的一些列有全部是NA的列。我如何找出哪些和適當地刪除它們？我的直覺是像做（假設df是ffdf）： apply(X=is.na(df[,1:136]), MARGIN = 2, FUN = sum) 應該給我NA數爲每列向量，然後我可以找到哪些具有〜5.5百萬NA值，刪除它們使用df <- df[,-c(vect

1熱度

1回答

一對多在R中使用ffbase

我想使用ffdf複製以下一對多連接。什麼是最好的方法來做到這一點？下面我使用data.tables提供了一個我想要得到的例子。我知道merge.ffdf函數的以下說明：「此方法與基礎包中的合併相似，但只允許內部和外部外部聯接。請注意，聯接是基於ffmatch或ffdfmatch完成的：僅限於y中的第一個元素將被添加到x「。但是，我想知道是否有解決方法。 > A <- data.table(c

1熱度

1回答

爲R中

ffdf對象VLOOKUP方法我有一個名爲「數據」的ffdf對象有超過26萬行，看起來像這樣： Location DateandTime Value 1 1 01/01/2012 00:00:00 0.8 2 42 01/01/2012 00:00:00 0.4 3 14 01/01/2012 00:00:00 0.7 4

1熱度

1回答

處理R中的大數據集

我遇到內存問題，R給出Can not allocate vector of size XX Gb錯誤消息。我有一堆日常文件（12784天），以netcdf格式給出1305x378（經緯度）網格的海面溫度。這樣每天就可以得到493290分，在移除新地區（陸地點）時減少到約245000。我的最終目標是從日常文件中爲任何245000點建立一個時間序列，並找出每個點的時間趨勢。我的想法是建立一個每行一個

-1熱度

1回答

在移動ff文件後加載ff對象

我有一個CNSet對象，該對象由使用ff包存儲的crlmm包創建。我將它保存爲RData文件（使用save函數，而不是ffsave）。然後我必須將我的ff文件移動到另一個位置。然後我嘗試使用load函數加載對象。但是，當我訪問對象的一部分時，出現錯誤，指出原始位置中的某個ff文件無法找到。我使用ldPath函數設置了新位置，但它仍在舊路徑中查找。實施例： library(ff) ldPat

0熱度

2回答

解析as.transactions在r

我一直在努力重寫我的代碼，與data.frames一起工作與ffdf。我有兩列，很多做文章後，我已經成功地做了分割，並得到一個列表具有以下外觀： data= $A 1 2 3 $B 4 5 6 其中A，B是「籃子」或分組，「1 2 3「特定分組項目。我現在想要的是將這些轉換爲交易，並希望能夠做到先驗。我已經嘗試了簡單 as(i, "transaction") 其工作良好，當「數據」