Mysql實時數據庫遷移

Question

這可能是任何團隊在某個時候都會遇到的，所以我依靠其他人的經驗。

我們正在將舊的MySQL數據庫遷移到一個新的數據庫，其結構有很大的變化。有些表被拆分成多個較小的表，有些數據從多個較小的表連接到一個較大的表。

我們進行了測試，它需要幾個小時到數據庫遷移到一種新的形式。問題是，舊數據庫是我們的生產數據庫，每分鐘都在變化。我們不能有幾個小時的停機時間。

你覺得哪種方法會出現這樣的情況是好的？

比方說，你有表名爲「用戶」用1M行。它每秒都在變化。一些字段被更新，一些行被添加並且一些行被刪除。這就是爲什麼我們無法在某個時間點製作快照的原因，因爲遷移完成後，我們將有3小時的數據未確定。

Answer 1

有一種方法我曾經使用過，也適用於您，但是您需要修改您的生產數據集。只需簡單地說：

1. 爲每個要遷移的表添加一個名爲「migrated」（或這樣）的新列。給它一個布爾類型。默認情況下將其設置爲0。
2. 當您的遷移腳本運行時，必須將此標誌設置爲1，以便每個已遷移到新數據庫的條目。所有已經是「1」的條目都必須被忽略。這樣你就不會遇到同步問題。

這樣您就可以隨意運行遷移腳本。

您將有一個停機時間，但它只是一個最小的停機時間，因爲在停機時間內，您只需遷移一些數據集（實際上是遷移腳本的最後一次運行和現在之間的最後一個「增量」）。

Answer 2

你能並行運行與當前一個新的數據庫？這樣，您可以稍後將舊數據從舊數據庫遷移到新數據庫，並且您的「實時」情況將在新數據庫中捕獲。

我的意思是：當你給舊數據庫寫點東西時，你也必須將數據寫入新數據。我已經在過去使用

Answer 3

一種方法是使用replication.

我們創建了舊的生產數據庫，這是用於數據遷移的奴隸之間的複製方案。當我們開始遷移時，我們暫時關閉了複製，並使用從數據庫作爲遷移的數據源;舊的生產系統仍然運作。

遷移腳本完成並且我們的一致性檢查已運行後，我們重新啓用了從舊生產系統到複製從屬系統的複製。複製完成後，我們在生產過程中掛上了「維護維護」標誌，重新運行數據遷移腳本和一致性檢查，將系統指向新數據庫，並取下「維護」標誌。

有停機時間，但它是幾分鐘，而不是數小時。

這取決於您的數據庫模式，以便識別更改/新數據。

如果您的模式不適合查詢新的或已更改的記錄，並且您不想添加新列以跟蹤此情況，最簡單的解決方案是創建單獨的表以跟蹤遷移狀態。

例如：

TABLE: USERS (your normal, replicated table) 
---------------------- 
USER_ID 
NAME 
ADDRESS 
..... 


TABLE: USERS_STATUS (keeps track of changes, only exists on the "slave") 
----------------- 
USER_ID 
STATUS 
DATE 

你可以通過在用戶表中的觸發器插入填充此表，刪除和更新 - 爲每個動作，您可以設置一個獨立的狀態。

這使您可以快速查找自運行第一個遷移腳本後發生更改的所有記錄，並且只遷移這些記錄。

由於您沒有修改生產環境，觸發器僅在「從屬」環境中觸發，因此不應在生產環境中引入任何性能或不穩定性問題。