用於價格比較的快速數據收集

Question

我有一個價格比較網站，其中一些供應商沒有任何當前API來獲取價格信息。到目前爲止，我用cURL解決了這個問題，並且由於它非常慢，我將它們存儲在最終用戶從中獲取數據的數據庫中。

由於我想允許完全實時的原因，從而獲得最終用戶命令的價格，並且還避免保留巨大的價格信息數據庫。

哪種方法比當前cURL解決方案更快更輕？

有沒有人在這裏做過類似的事情，並有這方面的經驗？

Answer 1

無論您做什麼，手動提取價格所需的時間都不會改變。這將是一個HTTP請求+解析響應，無論你如何做。另外，如果你有大量的用戶，緩存是必須的。

但是，你可以嘗試用技術，如間接攻擊的問題：

• 當你想顯示實時數據，使一個AJAX調用服務器（誰就會捲曲，將分析結果發送回給你更新頁面）而不是重新加載頁面。這將允許您在等待期間自定義（並希望改善）用戶體驗。
• 運行後臺進程，經常刮擦你的供應商並緩存結果。如果用戶在緩存的數據到期之前請求此信息，您將能夠立即滿足請求。
• 調整上述過程以便智能地刮擦（根據用戶實際請求此信息的頻率等等，在訪問者數量達到峯值時，或多或少經常刮擦供應商和/或產品的時段刮擦更多）。