2009-07-04 85 views
2

最近的一個article促使我選擇一個我一直在努力的項目。我想爲許多網站創建一個Web服務前端,以允許從結果和網站的其他區域自動完成表單和數據檢索。我使用Selenium和自定義代碼獲得了一定程度的成功,但是我期待將其擴展到一個階段,即添加其他站點是一項微不足道的任務(也許甚至不需要開發人員)。網站數據檢索

Kapow web data server看起來實現了很多這可是我聽說這是相當昂貴(目前正在等待報價)。有沒有人有這方面的經驗,或可以建議任何替代品(理想的開源)?

免責聲明:我實現了從第三方網站圍繞自動化數據檢索潛在的合法性問題 - 這個工具的目的是在價格比較系統中使用,所有與之集成的網站將與明確許可來完成的業主。在網站提供API的情況下,這顯然是最受歡迎的方法。

感謝

回答

0

意識到它已經有一段時間,因爲我張貼了這個,但是任何人都應該通過它來了,我在使用這個WSO2框架(尤其是混搭服務器)有很多成功的。對於數據挖掘任務,我還使用了這個包裝的Java庫 - webharvest - 它已經實現了我需要的所有東西