是否有連接scipy.sparse矩陣的有效方法？

Question

我正在處理一些相當大的稀疏矩陣（從5000x5000到20000x20000），並且需要找到一種有效的方式來以靈活的方式連接矩陣，以便從單獨的部分構造隨機矩陣。

現在，我正在使用以下方式連接四個矩陣，但效率非常低。有沒有更好的方法來做到這一點，不涉及轉換爲密集矩陣？

rmat[0:m1.shape[0],0:m1.shape[1]] = m1 
rmat[m1.shape[0]:rmat.shape[0],m1.shape[1]:rmat.shape[1]] = m2 
rmat[0:m1.shape[0],m1.shape[1]:rmat.shape[1]] = bridge 
rmat[m1.shape[0]:rmat.shape[0],0:m1.shape[1]] = bridge.transpose() 

Answer 1

好的，我找到了答案。使用scipy.sparse.coo_matrix要比使用lil_matrix快得多。我將矩陣轉換爲coo（無痛且快速），然後在添加正確的填充後將數據，行和列連接起來。

data = scipy.concatenate((m1S.data,bridgeS.data,bridgeTS.data,m2S.data)) 
rows = scipy.concatenate((m1S.row,bridgeS.row,bridgeTS.row + m1S.shape[0],m2S.row + m1S.shape[0])) 
cols = scipy.concatenate((m1S.col,bridgeS.col+ m1S.shape[1],bridgeTS.col ,m2S.col + m1S.shape[1])) 

scipy.sparse.coo_matrix((data,(rows,cols)),shape=(m1S.shape[0]+m2S.shape[0],m1S.shape[1]+m2S.shape[1])) 

Answer 2

稀疏庫現在具有hstack和vstack分別用於水平和垂直方向串聯矩陣。

Answer 3

使用hstack，vstack或concatenate比連接內部數據對象本身慢得多。原因在於，hstack/vstack將稀疏矩陣轉換爲coo格式，當矩陣非常大而非coo格式時，它可能非常緩慢。下面是串聯CSC矩陣代碼，可用於CSR矩陣類似的方法：

def concatenate_csc_matrices_by_columns(matrix1, matrix2): 
    new_data = np.concatenate((matrix1.data, matrix2.data)) 
    new_indices = np.concatenate((matrix1.indices, matrix2.indices)) 
    new_ind_ptr = matrix2.indptr + len(matrix1.data) 
    new_ind_ptr = new_ind_ptr[1:] 
    new_ind_ptr = np.concatenate((matrix1.indptr, new_ind_ptr)) 

    return csc_matrix((new_data, new_indices, new_ind_ptr)) 

Answer 4

阿莫斯的回答不再是必要的。如果輸入矩陣採用csr或csc格式，並且所需的輸出格式設置爲無或輸入矩陣的格式相同，現在Scipy在內部執行類似於此操作的操作。以csr格式垂直堆疊矩陣或以csc格式水平堆疊矩陣是有效的，分別使用scipy.sparse.vstack或scipy.sparse.hstack。