使用Pentaho將數據從SQL/Oracle遷移到Cassandra

Question

我想通過使用Pentaho將數據從Oracle/MySQL遷移到Cassandra。有沒有人完成這項任務？

我想知道如何遷移數據的完整方式以及遷移數據的先決條件是什麼？

Answer 1

這很大程度上取決於計劃的數據重組的水平。

如果你的目標只是改變底層DBMS，並可以複製/粘貼表格，您有一個Wizard（菜單Tools）稱爲Copy Tables（複數），它會提示你輸入和輸出連接，並創造一切什麼（SQL創建腳本，每個表格一個Transformation，一個執行轉換集合的作業）。

它不會在你的情況下工作，因爲卡桑德拉不是一個SQL數據庫。但是，它會給你一個骷髏，你必須用Cassandra output來代替所有的Output table，它可以在插入行之前單擊CQL來執行。

但這就是理論。不是因爲技術上的問題，而是因爲這樣的遷移需要更改數據模型，如果您對業務不是很熟悉，那麼這種模型很難猜測。

因此，用最少的外鍵開始遷移表，然後向您的老闆/客戶詢問反饋。然後移至下一個表格，依此類推。總是選擇一個沒有尚未移動的外鍵的表格，並進行檢查（記錄計數）並向用戶提出反饋。您很快會被要求更改數據結構。

另請注意，如果Oracle/MySQL數據庫正在生產，數據每天都在變化。所以，不要扔掉你的ETL，而是把它們包含在一個單獨的Job中，這樣你就可以通過簡單的點擊重新載入新的數據。