0
即時通訊工作在一個項目,我想獲取最後一分鐘的航班,然後將它們保存到我的數據庫。問題是,我不想每次用戶訪問該網站時刮擦,然後保存到我的數據庫中,因爲這隻會導致很多重複。我可以以某種方式讓網站在預定時間爲我獲取數據,然後刪除數據庫中的以前的記錄?每10分鐘自動獲取數據(簡單的html dom)
即時通訊工作在一個項目,我想獲取最後一分鐘的航班,然後將它們保存到我的數據庫。問題是,我不想每次用戶訪問該網站時刮擦,然後保存到我的數據庫中,因爲這隻會導致很多重複。我可以以某種方式讓網站在預定時間爲我獲取數據,然後刪除數據庫中的以前的記錄?每10分鐘自動獲取數據(簡單的html dom)
如果您希望OS定期執行任務,則cron job就是您想要的。
要麼通過命令行獲取cron作業來調用您的程序,要麼使用wget獲取將觸發數據獲取的頁面。
更多關於cron作業: http://www.thesitewizard.com/general/set-cron-job.shtml
刮+保存不應該由一個瀏覽器都觸發。 – bzlm 2012-08-01 09:54:10