通過API導入大數據

Question

我想開發一個系統，在該系統中我將通過提供的API將我的數據庫與3方數據庫同步。 API有格式，使我們可以提供從最新的和最新

問題

1. 沒有API，它使我只能修改的記錄。
2. 的數據太大（1000條/天平均）
3. 需要調度，因此所有的記錄都將自動更新
4. 我還需要不斷的修改的記錄軌跡（因爲我可以」，這是最大的問題牛逼的修改日期讓他們）

注：按以前規定正如我已經開發的系統中，我可以指定從最新的和最新的記錄得到更新（其與完成GUI沒有ajax被使用）。即使我要求1天的記錄，系統也會超時錯誤。

注2：我真的應該沒有說，但客戶過於嚴格（啞）;（他只是需要解決什麼都沒

Answer 1

假設數據並不需要「新鮮「你能不能寫一個進程來運行每小時/夜間取回那幾天的數據，並將其加工成你的數據庫？

顯然，這如果你不更新，確保以前的記錄只會工作？

不API提供批次？

你爲什麼選擇一個帶有Ajax的Web客戶端來處理這些數據？ Windows /控制檯應用程序會更適合嗎？

Answer 2

如果數據太大而無法通過任何給定的查詢進行檢索，您只需要通過ID來完成。找出一個好的大小（100條記錄？250？），並且通過該大小的組來旋轉系統中的每條記錄。

你沒有說如果你拉下數據，推動數據，或兩者。如果你只是把它拉下來，那麼你就可以做得最好，隨着更多記錄的添加，它會變得越來越慢。如果你只是推動它，那麼你可以追蹤「推送日期」。如果兩者都是，那麼你如何解決衝突？