2012-05-30 49 views
0

我目前正在嘗試編寫一個小型應用程序,它基本上會將另一個網站(我的學校的成績門戶)的信息寄生蟲寄生蟲,基本上是爲了使其他網站上的內容更有用。我現在有一個用Ruby和Mechanize寫成的概念驗證。從刮板程序寫入Web應用程序的注意事項

但是,我試圖弄清楚從哪裏出發。運行概念驗證需要花費很長時間,有時需要一分鐘時間才能完成登錄。由於網站的編寫方式(舊的),我不認爲我可以更快地完成登錄。

當我試圖將這個概念驗證轉化爲一個完整的應用時,我應該關注什麼?

+1

「當我試圖將這個概念驗證轉化爲一個全面的應用時,我應該關注什麼?」你會爲你的學校帶來多少成功。在一個有用的注意,雖然:你可能想考慮在幕後進行刮擦,然後只有顯示數據給用戶,而不是讓用戶等待(假設它不是永久需要的實際登錄)。 – Corbin

+0

是的..緩存結果是解決緩慢問題的方法。運行一個Rake任務或類似的技巧,每小時或每隔一小段時間刮一次頁面(不要過於頻繁地破壞網站),然後始終運行前端關閉此刮取的數據。 – Casper

回答

0

當你在刮,你基本上在另一個孩子的房子玩。他們可以(也將會)在閒暇時改變事物。您將需要廣泛的錯誤檢查。我建議你在發佈數據之前先將數據保存到臨時環境中,並確保你的用戶知道他們可能會間歇性地獲取數據的延遲,同時你在站點更改之後瘋狂地嘗試恢復你的scraping例程。

相關問題