我剛剛獲得了新任務的要求。用於記錄和檢索的更好的數據庫系統
有一種服務從一個系統(作爲CSV文件來的人)更新另一個系統(SQL服務器)中的數據:該任務要求我存儲我們複製的每個記錄的序列化版本,以及校驗和和時間戳。不會有更新,只是基於時間戳和校驗和插入和檢索。根據序列化的內容,也可以選擇SELECTS。我們要存儲的最大數據量爲N * 1m;我在系統中幾乎看不到幾百萬行。我看到它在未來3年內每天最多從幾百個增加到幾千個,然後系統將被解僱。
我的團隊是MS SQL SERVER的專家,但我想知道是否有更好的引擎(Kafka,Cassandra等)來支持這種場景。任何建議/想法?爲我們團隊中的教學/推廣工作提供合理性會有什麼好處?另請注意,我們主要使用C#,因此與它接口的簡單方法應該是有利的。
我不是DBA,所以我可能會忽略一些細節。如果讓我知道,我會澄清。 謝謝
因此,你已經有數據在MS SQL服務器,正在從一個服務器複製到另一個服務(如窮人複製? )並且您只想存儲複製記錄的日誌以查看它何時移動? –
數據不是來自SQL數據庫:來源是CSV文件。目標系統將僅使用CSV文件中的一些可用信息來更新記錄。 – abx78