創建Web蜘蛛/機器人腳本需要幫助在Perl
我的目的:
要創建一個Perl腳本,將創建一個Web蜘蛛/機器人。 我的腳本將從互聯網上下載一個網頁,搜索並提取Metatags, 然後將它們編入MySQL數據庫中。
我的數據庫可以通過元標記字段或通過網頁界面的URL進行搜索。
我的腳本還會顯示完整的數據庫,其中包含一個列出數據庫中記錄數量的特殊字段。
所以我的問題是:
我該如何去有關網絡蜘蛛會從互聯網下載的網頁,並提取元標記創建一個腳本?
我可以閱讀哪些資源來幫助我創建此文件或任何腳本?
謝謝你的時間!
看看WWW :: Mechanize。 – 2012-08-09 21:36:27
如果您使用Perl,您可能會開始查看cpan中的各種HTTP模塊:http://www.cpan.org/modules/index.html。 (你可以在那裏找到Sebastian建議的WWW :: Mechanize) – scrappedcola 2012-08-09 21:37:00
感謝您的建議。我不知道該網站大聲笑 – Umeed 2012-08-09 21:40:09