在R中管理一個大矩陣R

R - 我有一個雙矩形矩陣62589x62589，當我將矩陣保存到一個Rdata對象時，它是28GB，這是一個瘋狂的大小還是相對正常的，有沒有辦法解決這個問題？在R中管理一個大矩陣R

來源

2013-07-02 A_Skelton73

請記住，這差不多是四億*十億雙。 – Peyton

你需要這麼大的矩陣嗎？ – krlmlr

@krlmlr這是基因組芯片數據，我已經做了一些分析，我剛剛跑了一個皮爾遜相關，它使方形矩陣62589元模式，因此大尺寸 –

如果它是一個密集的矩陣，那麼你可以做的事情不多。該矩陣存儲要求是大致

6 * 6 * 10^4 * 10^4×8個字節= 288 * 10^8個字節= 28.8千兆字節。

8個字節爲double大小。您可以使用single值，這會減小一半的大小。

對於sparse matrices，Douglas Bates和Martin Maechler的Matrix包是你的朋友。

來源

2013-07-02 20:21:38 krlmlr

R沒有單一類型，儘管ff包提供了它們以及一般的內存不足支持。 – mdsumner

我會確保您查看了專門爲微陣列數據設計的R軟件包。例如，Bioconductor具有用於微陣列的包裝（http://www.bioconductor.org/help/workflows/arrays/）。儘管如此，當然還有其他人。如果它們被設計爲使用類似的大型數據集，那麼這些軟件包可能已經解決了這個問題。

來源

2013-07-03 23:07:06 LSE

在R中管理一個大矩陣R

回答

相關問題