1. 首頁
  2. 問答
  3. cassandra中的拷貝命令行大小限制

cassandra中的拷貝命令行大小限制

2016-01-05 44 views
1

任何人都可以告訴我們可以使用拷貝命令在cassandra中有效加載的csv文件的最大大小（行數或文件大小）。它有限制嗎？如果是這樣的話，將大小文件分解爲多個文件並加載或者我們有更好的選擇來做到這一點是一個好主意？非常感謝。cassandra中的拷貝命令行大小限制

來源

2016-01-05 user3554618

回答

1

我已經遇到過這個問題......至少對於我來說，在任何datastax或apache文檔中都沒有明確聲明最大大小。基本上，它可能僅限於您的PC /服務器/羣集資源（例如cpu和內存）。

但是，在一篇由jgong發現的文章中發現here的文章稱您最多可以導入10MB。對我來說，這大概是8.5MB左右。在cassandra 1.2 here的文檔中，它聲明您可以導入幾百萬行，並且您應該使用bulk-loader來處理更重的內容。總之，我確實建議通過多個csv文件導入（只是不要讓它們太小以至於不斷地打開/關閉文件），這樣您就可以保持對正在導入的數據的處理並且更容易找到錯誤。可能會發生這樣的情況：等待一個小時文件加載失敗，然後重新開始，而如果有多個文件，則不必重新啓動已成功導入的文件。更不用說關鍵的重複錯誤了。

來源

2016-01-05 17:50:22 dtrihinas

相關問題

 相關問題