哪個工具可以更好地將數據加載到cassandra？

Question

我們將使用cassandra在我們的項目中存儲.csv和非結構化數據。 數據可以寫入GB。所以我想知道哪個更好的方法或工具來將數據加載到Cassandra中。 SSTables可以處理這麼多的數據？ 或者我應該去找火花或YCSB等工具？

Answer 1

（聲明：我是一個ScyllaDB員工）

SStables可以在這個尺寸數據容易（也更...）

如果你在的SSTable格式的數據比我的存儲強烈建議使用SStableLoader實用程序。 沒有任何參數運行將顯示選項和用法列表。最重要的是sstables目錄和節點IP。 我建議對預準備語句使用-x標誌，因爲它提高了性能。

例子：

• sstableloader -x -d [node IP] .../[ks]/[table]
• sstableloader -x -d [node IP] .../[mount point] (in /[ks]/[table] format)

另一種選擇是使用批量複製。例如：copy keyspace1.table1 FROM 'a.csv' WITH HEADER=TRUE;

我建議你閱讀這個blog關於Cassandra和Scylla中大數據集的攝取率。 另一個blog你可以找到關於加載來自各種數據庫架構的數據。

祝你好運，快樂的加載。