重複的記錄插入數據庫與春季交易

我們有10個服務器。有些航班相關的數據將來到servers.From服務器，數據將來我們的應用程序。意味着相同的數據可以來我們的應用程序不止一次，但最後我只需要在數據庫中保存這些數據一次。因此，在插入數據之前我們正在檢查數據庫。如果該記錄已經不存在於數據庫中，那麼只有我們要保存數據。但由於某種原因我們正在獲取數據庫中的重複記錄。重複的記錄插入數據庫與春季交易

在這種情況下是否需要使用同步？

什麼可能是提前的問題here.Thanks ...

來源

2014-10-27 PSR

在我們公司，我們處理多個數據源，其中同一條信息可能經過的途徑是利用批次。我們發現，通過在代碼級別（java和.NET）執行此操作，我們會投入大量時間並仍然有重複。

通過實施批處理流程，我們在本地存儲所有內容，並使用2個批處理作業進行處理。 1st將確保數據的質量並消除重複 2nd將壓縮並將數據推送到我們的持久性服務（我們使用XCOM直接推入數據庫隊列，然後將數據插入）。

如果您可以實施類似的任務，因爲您有一個入口的中心點，可以實現適當的質量門。

希望我們的例子有所幫助，如果不是讓我知道高興地刪除這個。 :)

來源

2014-10-27 10:38:46 Aeseir

重複的記錄插入數據庫與春季交易

回答

相關問題