Python：如何使用python存儲稀疏矩陣？

Question

我有一個輸出在python中使用稀疏矩陣，我需要將這個稀疏矩陣存儲在我的硬盤中，我該怎麼做呢？如果我應該創建一個數據庫，那麼我應該怎麼做？ 這是我的代碼：

import nltk 
import cPickle 
import numpy 
from scipy.sparse import lil_matrix 
from nltk.corpus import wordnet as wn 
from nltk.corpus import brown 
f = open('spmatrix.pkl','wb') 
def markov(L): 
    count=0 
    c=len(text1) 
    for i in range(0,c-2): 
     h=L.index(text1[i]) 
     k=L.index(text1[i+1]) 
     mat[h,k]=mat[h,k]+1//matrix 
    cPickle.dump(mat,f,-1) 



text = [w for g in brown.categories() for w in brown.words(categories=g)] 
text1=text[1:500] 
arr=set(text1) 
arr=list(arr) 
mat=lil_matrix((len(arr),len(arr))) 
markov(arr) 
f.close() 

我需要存儲這個「墊」的文件，並應訪問使用座標矩陣的值..稀疏矩陣的

結果就像這樣的：`稀疏矩陣的結果是這樣的：

(173, 168) 2.0 (173, 169) 1.0 (173, 172) 1.0 (173, 237) 4.0 (174, 231) 1.0 (175, 141) 1.0 (176, 195) 1.0 

但是當我把它保存到一個文件並閱讀我越來越像這樣一樣：

(0, 68) 1.0 (0, 77) 1.0 (0, 95) 1.0 (0, 100) 1.0 (0, 103) 1.0 (0, 110) 1.0 (0, 112) 2.0 (0, 132) 1.0 (0, 133) 2.0 (0, 139) 1.0 (0, 146) 2.0 (0, 156) 1.0 (0, 157) 1.0 (0, 185) 1.0 

Answer 1

注意：這個答案是響應修改問題，現在提供的代碼。

你不應該在你的函數調用cPickle.dump()。創建稀疏矩陣，然後將其內容轉儲到文件中。

嘗試：

def markov(L): 
    count=0 
    c=len(text1) 
    for i in range(0,c-2): 
     h=L.index(text1[i]) 
     k=L.index(text1[i+1]) 
     mat[h,k]=mat[h,k]+1 #matrix 


text = [w for g in brown.categories() for w in brown.words(categories=g)] 
text1=text[1:500] 
arr=set(text1) 
arr=list(arr) 
mat=lil_matrix((len(arr),len(arr))) 
markov(arr) 
f = open('spmatrix.pkl','wb') 
cPickle.dump(mat,f,-1) 
f.close() 

Answer 2

pyTables是Python接口HDF5數據模型，是很受歡迎的選擇，並與NumPy和SciPy的良好集成。 pyTables將允許您訪問數據庫數組片，而無需將整個數組加載回內存。

我沒有與稀疏矩陣本身和快速谷歌搜索既不證實，也不否認稀疏矩陣支持任何具體的經驗。

Answer 3

假設你有一個numpy的matrix或ndarray，你的問題和標籤意味着，有一個dump方法和load功能，您可以使用：

your_matrix.dump('output.mat') 
another_matrix = numpy.load('output.mat') 

Answer 4

添加在HDF5支持，Python中也有NetCDF support這非常適合矩陣形式的數據存儲和快速訪問，既稀疏又密集。它包含在用於windows的Python-x,y中，很多python的科學用戶最終都使用它。

更多基於numpy的例子可以在此cookbook找到。

Answer 5

有關集羣非常大的稀疏矩陣，可以使用pytrilinos，它有一個HDF5接口，可以轉儲稀疏矩陣到磁盤，作品也如果矩陣不同節點上分佈。

http://trilinos.sandia.gov/packages/pytrilinos/development/EpetraExt.html#input-output-classes

Answer 6

根據稀疏矩陣的大小，我傾向於只使用cPickle以酸洗陣列：

import cPickle 
f = open('spmatrix.pkl','wb') 
cPickle.dump(your_matrix,f,-1) 
f.close() 

如果我對付真正的大數據集，然後我傾向於使用netcdf4-python

編輯：

要再次訪問該文件，你會：

f = open('spmatrix.pkl','rb') # open the file in read binary mode 
# load the data in the .pkl file into a new variable spmat 
spmat = cPickle.load(f) 
f.close() 

Answer 7

對於我來說，使用cPickle.dump功能-1選項導致醃文件不加載之後。

我傾銷cPickle的對象是scipy.sparse.dok_matrix的實例。

只使用了兩個參數對我來說訣竅; documentation約pickle.dump()指出參數的默認值爲0。

使用Windows 7，Python 2.7.2（64位）和cPickle v 1.71。

例子：

>>> import cPickle 
>>> print cPickle.__version__ 
1.71 
>>> from scipy import sparse 
>>> H = sparse.dok_matrix((135, 654), dtype='int32') 
>>> H[33, 44] = 8 
>>> H[123, 321] = -99 
>>> print str(H) 
    (123, 321) -99 
    (33, 44) 8 
>>> fname = 'dok_matrix.pkl' 
>>> f = open(fname, mode="wb") 
>>> cPickle.dump(H, f) 
>>> f.close() 
>>> f = open(fname, mode="rb") 
>>> M = cPickle.load(f) 
>>> f.close() 
>>> print str(M) 
    (123, 321) -99 
    (33, 44) 8 
>>> M == H 
True 
>>>