0
有沒有辦法從管道關閉scrapy爬網？我的pipline處理url並將它們添加到列表中。當列表達到指定的數量時，我想關閉爬蟲。我知道raise CloseSpider()，但它似乎只有從蜘蛛調用時才起作用。Scrapy從管道關閉爬蟲
A
回答
2
是的，這是可能的。你可以調用Crawler.engine.close_spider（spider_name，reason）。
相關問題
- 1. scrapy爬蟲將多個項目類傳遞給管道
- 2. Scrapy遞歸鏈接爬蟲
- 3. scrapy避免爬蟲登出
- 4. Scrapy網絡爬蟲獲取錯誤
- 5. Scrapy基本爬蟲不工作？
- 6. 爲什麼scrapy爬蟲停止？
- 7. scrapy爬蟲在爬行時顯示錯誤
- 8. Scrapy重新啓動爬蟲當爬行完成
- 9. 如何從scrapy蜘蛛爬蟲設置參數
- 10. 網絡爬蟲從Android Market
- 11. 使用網絡爬蟲的道德
- 12. Python爬蟲 - html.fromstring
- 13. 網絡爬蟲
- 14. Python的爬蟲？
- 15. 爬蟲實例
- 16. 管道關閉不需要關閉
- 17. Scrapy關閉蜘蛛如果沒有網址爬行
- 18. Scrapy管道解析
- 19. Scrapy：通過管道
- 20. C＃/ Tamir.SharpSsh：System.IO.IOException：管道關閉
- 21. fclose後管道「關閉」（）
- 22. 開源C++爬蟲？
- 23. C++網絡爬蟲
- 24. Java Web爬蟲庫
- 25. 文件爬蟲OSError
- 26. PHP網絡爬蟲
- 27. Python網絡爬蟲
- 28. java網絡爬蟲
- 29. 爬蟲vs刮板
- 30. php爬蟲檢測