如何使用任何opensource etl工具將數據從postgres遷移到cassandra？

Question

我試圖不使用複製命令，因爲它的數據庫是相當大的。我正在使用talend etl開源工具，但尚未找到任何解決方案。

Answer 1

有3個最常見的數據遷移到Cassandra的選項：
1.自定義Spark工作。這需要一些編程，儘管它是最具可擴展性的解決方案，並允許您擁有任何自定義數據轉換邏輯。您可能需要數據轉換，因爲我無法想象您將擁有完全相同的RDBMS和鍵值存儲的表結構。
2.使用DataStax Enterprise軟件包中的sqoop（它包含Cassandra的自定義驅動程序）。
3.使用sqoop和Casasndra的JDBC驅動程序。雖然，我對上次Cassandra的JDBC驅動程序版本功能和穩定性沒有任何意見。我們在之前的版本中遇到了一些問題。
好的，有第四個。您可以編寫自己的數據簡單的獨立遷移工具（例如使用Java）。該工具將逐行讀取來自Postgres的數據並調用Cassandra的插入。這將會非常緩慢，雖然很簡單。
你已經提到過，數據庫非常大。但這只是意味着你必須等待更長時間直到遷移結束。這對於很多情況並不重要，確實如此。
CPU工作，而你可以做一些其他的事情。否則，當CPU放鬆時，你必須使用自己的時間。

Answer 2

如果您更喜歡Apache Spark，則可以使用Spark Cassandra Connector將DataFrame保存到Cassandra。關於如何使用PySpark連接Postgres，請參閱this question。