使用Scrapy解析站點地圖

Question

我希望能夠使用scrapy抓取站點地圖上的鏈接。我對這個應用程序不太瞭解，所以我會對你可以提供的任何鏈接/信息/文檔感興趣。

謝謝

Answer 1

一個新的通用蜘蛛剛剛被添加到Scrapy中繼線，用於這一目的。這將可於下一個版本（Scrapy 0.14）

• 代碼在這裏：http://snippets.scrapy.org/snippets/20/
• 文檔瀏覽：http://readthedocs.org/docs/scrapy/en/latest/topics/spiders.html#sitemapspider

Answer 2

所有的文件在http://doc.scrapy.org/。該教程也可以在scrapy.org上找到。

至於你的問題，請參見本SO問題：how to parse a sitemap.xml file using scrapy's XmlFeedSpider?