1
我有一長串需要刮取和提取數據的URL，我想用scrapy。用scrapy刮一頁
說我有一個扭曲的反應器裝置和我創造蜘蛛
runner = CrawlerRunner(scrapy_settings)
d = runner.crawl(spider_cls)
有沒有一種方法可以讓我發送URL蜘蛛所以它會處理它們？
A
回答
1
的crawl() method可以採取額外的參數：
d = runner.crawl(spider_cls, start_urls=["url"])
相關問題
- 1. Scrapy：刮網頁上的「下一個」結果使用scrapy
- 2. Scrapy刮刀不刮過第1頁
- 3. 遞歸刮Web頁面Scrapy
- 4. 刮多個頁面Scrapy
- 5. 如何刮scrapy使用scrapy
- 6. 試圖刮Scrapy使用Scrapy
- 7. Scrapy - 在一個scrapy腳本中颳去不同的網頁
- 8. Scrapy爬行但不刮刮
- 9. 刮scrapy論壇與scrapy
- 10. Scrapy RSS刮板
- 11. XPath/Scrapy刮DOCTYPE
- 12. Scrapy - 遞歸地刮到第三頁
- 13. Python和/或scrapy刮AJAX網頁
- 14. 用Scrapy刮掉MSN新聞
- 15. 刮遞歸使用Scrapy
- 16. 用Scrapy遞歸刮Craigslist
- 17. Scrapy Python Craigslist刮刀
- 18. Scrapy CrawlSpider重試刮
- 19. Scrapy刮板問題
- 20. Scrapy - 按日期刮刮鏈接
- 21. 刮使用Scrapy使用從列表
- 22. Scrapy不刮整個文本
- 23. Scrapy刮掉谷歌分析
- 24. Scrapy不能刮網站
- 25. Scrapy抓取但不會刮
- 26. 卡住刮特定表scrapy
- 27. scrapy的數據刮取
- 28. 刮圖像，空響應[scrapy]
- 29. Scrapy - 抓取和刮網站
- 30. Scrapy不刮整個網站
有沒有辦法重用蜘蛛？爲了避免在獲取新網址時再次創建它？ – AlexV
@AlexV這是一個有趣的問題！你能否創建一個單獨的問題提供所有必要的細節？謝謝！ – alecxe