刮網站 - 這甚至可能嗎？

-2

我想從LPS網站提取北愛爾蘭房產的價格值http://lpsni.gov.uk/vListDCV/search.asp?submit=form 刮網站 - 這甚至可能嗎？

我是一個合理的PHP程序員，但我不知道如何去做這件事。爲了做到這一點，有人能夠指出我需要了解的方向嗎？

它甚至可以做我想要的東西嗎？

2012-02-13 hugo the hippo

Scrapy是我最喜歡的工具 - http://scrapy.org/ – 2012-02-13 16:58:06

訪問自動化違反了標準的'.gov.uk'網站EULA。在這裏處理類似的事情也有很多問題，還有數以千計的在線文章。對於「PHP網絡蜘蛛」或「PHP下載網址」的快速谷歌會給你你需要的一切。 – Polynomial 2012-02-13 16:58:27

使用Php刮擦數據是冗長且代碼驅動的。您編寫腳本並從站點提取數據，但我建議自動化該過程。

來源

2012-02-18 10:31:15

是的，這是非常有用的。指針：忽略試圖通過表單，所有的數據可以通過從http://lpsni.gov.uk/vListDCV/districts.asp靜態鏈接到達，因爲所有的屬性都是固定的，它僅僅是一個刮每一層的鏈接來建立在循環內的循環例如：councils-病房 - 街道等等，直到你最終得到肉，然後用cURL或者甚至只是file_get_contents將它拉出來，然後將你不想要的那些數據正則化。存儲供以後在數據庫中使用。

來源

2012-02-18 14:30:41 Skizz

刮網站 - 這甚至可能嗎？

回答

相關問題