Scrapy Django限制鏈接爬行

Question

我剛剛scrapy設置和運行，它運作良好，但我有兩個（noob）的問題。我應該首先說我對scrapy和spidering站點是全新的。

1. 你能限制抓取的鏈接數嗎？我有一個網站，不使用分頁，只是在他們的主頁上列出了很多鏈接（我抓取）。當我真的需要抓取前10個鏈接時，我感覺很糟糕。

2. 如何一次運行多個蜘蛛？現在我使用命令scrapy crawl example.com，但我也有example2.com和example3.com的蜘蛛。我想用一個命令來運行所有的蜘蛛。這可能嗎？

Answer 1

for＃1：不要使用rules屬性來提取鏈接並關注，在解析函數中編寫規則併產生或返回Requests對象。

＃2

：儘量scrapyd

Answer 2

幸得巴蒂爾，這裏https://groups.google.com/forum/?fromgroups#!topic/scrapy-users/EyG_jcyLYmU

使用CloseSpider應該允許你指定這種限制。

http://doc.scrapy.org/en/latest/topics/extensions.html#module-scrapy.contrib.closespider

有沒有嘗試過，因爲我並不需要它。看起來您也可能必須在設置文件中將其作爲擴展程序啓用（請參閱同一頁的頂部）。