我應該使用什麼策略/技術來進行這種複製？

Question

我目前面臨的一個問題還沒有找到好的解決方案，所以希望能得到大家的一些建議。

我如圖片

數據庫的核心問題是，所有的客戶端連接到管理實時數據是真的大，忙碌的時間。

功能數據庫並不經常使用，但它需要來自核心數據庫的一部分實時數據（可能是5％），但是對該服務器的請求任務將花費更長的時間並消耗大量資源。

什麼是我目前的解決方案：

1. 我用數據庫的核心&特徵庫之間的數據庫複製，它工作正常。但是 問題是我浪費了大量的磁盤空間來存儲不需要的數據。 （過濾雖然複製數據不適用於我的數據庫模式）

2. 使用排隊系統不會使數據按時生效，因爲有許多對核心數據庫的請求。

如果您遇到此問題，請提出一些建議嗎？

感謝，

龐

Answer 1

定義什麼是一個典型的數據集成任務。您可以使用任何數據集成工具從核心數據庫提取數據並加載到特色數據庫中。您可以將數據集成作業從實時調度到任何時間範圍。

我在我的中型（10GB）半科學PostgreSQL數據庫集成項目中使用了Talend。它工作得很好。您也可以嘗試SQL Server Integration Services (SSIS)。這個工具也非常強大。它適用於所有頂級RDBMS。

Answer 2

如果你只是擔心磁盤空間，我會堅持你現在的解決方案。現在，100GB的磁盤空間不到1美元 - 爲此，您無法真正負擔將新解決方案帶入系統。從邏輯上講，在同一個應用程序中保留過濾的情況也是如此 - 保持知道哪些記錄與應用程序本身相關的責任，而不是在某個神祕的集成層中，這將減少整體解決方案的複雜性。如果您真的需要，只接受特殊集成層的額外複雜性。