Cassandra中的地圖冗餘

Question

輸入：表格數據文件：每個文件具有可變列數，並且這些列名對文件和/或其他文件（事先未知）可能是唯一的。這些數據預計不會改變，所以插入會很頻繁，但更新很少。列和它們的參數值可以是文本的或數字的。

請求的能力：能夠通過身份或範圍查詢給定列名和值來檢索數據的行。

數據模型：在CQL我可以模擬使用表示一個文件的一個特定的單元格值的單個表（在這種情況下的文本，但也可構造成用於數字數據的類似的表）

create table mytable(
    colname text, 
    value text, 
    filename text, 
    rowid int, 
    data map<text,text>, 
    primary key (colname , value, filename, rowid)#partitioning on colname may not be ideal here, but will be dealt with in ways unrelated to this question 
); 

例如，一個文件的內容可能是：

A B C D E 
i1 i2 i3 i4 i5 

插入是：

insert into mytable(colname, value, data, filename, rowid) values ('A', 'i1', {'A':'i1', 'B':'i2', 'C':'i3', 'D':'i4', 'E':'i5', 'F':'i5'}, 'F1', 1); 
insert into mytable(colname, value, data, filename, rowid) values ('B', 'i2', {'A':'i1', 'B':'i2', 'C':'i3', 'D':'i4', 'E':'i5', 'F':'i5'}, 'F1', 2); 
insert into mytable(colname, value, data, filename, rowid) values ('C', 'i3', {'A':'i1', 'B':'i2', 'C':'i3', 'D':'i4', 'E':'i5', 'F':'i5'}, 'F1', 3); 
insert into mytable(colname, value, data, filename, rowid) values ('D', 'i4', {'A':'i1', 'B':'i2', 'C':'i3', 'D':'i4', 'E':'i5', 'F':'i5'}, 'F1', 4); 
insert into mytable(colname, value, data, filename, rowid) values ('E', 'i5', {'A':'i1', 'B':'i2', 'C':'i3', 'D':'i4', 'E':'i5', 'F':'i5'}, 'F1', 5); 
... 

SELECT data from mytable where colname=? and value=? 

問題：我們確實有數據存儲限制 - 在此模型中的數據值是一個行的每個列的值是相同的，從而導致大量過度的數據重複的（這是一個簡單的例子，但列數能超過100個 - 意味着地圖可以重複數百次）。

問題：（通過指針到例如數據或以某種方式定義地圖作爲不同）是否有卡桑德拉任何方式，以避免這種類型的數據複製的，而無需創建/查詢第二表？或者，另一種方法可以使用相同的查詢功能和結果對數據進行建模？

Answer 1

如果您的設計受益於C *內置壓縮，我不會感到驚訝，您的存儲需求可能會低於您的預期。

順便說一句，如果你想要一個完全不同的模型，你可以嘗試：

• 一個表輸入數據
• 每個表都有一個分區鍵時，你的價值的每一列尋找沿着這些路線

東西：

CREATE TABLE colname_A (
    value text, 
    data map<text,text>, 
    ..., 
    PRYMARY KEY (value) 
); 

CREATE TABLE colname_B (
    value text, 
    data map<text,text>, 
    ..., 
    PRYMARY KEY (value) 
); 
.... 
CREATE TABLE colname_xxx (...); 

然後，您可以發通過發行選出你的數據：

SELECT * FROM colname_A WHERE value = 'i5'; 
SELECT * FROM colname_A WHERE value IN ('i4', 'i5') 

小心與分區鍵的IN clausole查詢，因​​爲你想避免像this問題，當你把數據加載到您的集羣。

該模型以不同方式組織數據，並受益於列間數據重複而不是行間數據重複。如果你有不平衡的列（例如一些列中的大量記錄），這個數據組織提供的壓縮可能是一個巨大的勝利。