如何近似大型稀疏scipy矩陣中的相關矩陣？

Question

爲了這個目的，我現在使用了該線程link的解決方案，但是由於我的矩陣A的大小是600萬到40000矩陣，所以它給出了預期的內存錯誤。因此，我正在尋找任何其他解決方案來近似相關矩陣。我怎樣才能接種這個問題？任何幫助表示讚賞。

Answer 1

你的問題是你不能在內存中保存結果（6e6^2值？）。

您可以從原始矩陣中刪除行。例如，如果您正在搜索高度相關的行，則可能需要對行進行聚類，以便解決問題。

您還可以使用scipy.sparse.linalg.svds來縮小列數。但是你仍然必須處理行^ 2的相關性。