Scrapy - 如何避免分頁黑洞？

Question

我最近正在一個網站蜘蛛工作，並且注意到它請求無限數量的頁面，因爲一個網站沒有編碼他們的分頁來停止。

因此，儘管他們只有內容幾頁，它仍然會產生下一個鏈接和網址...？頁= 400，...？頁= 401等

內容沒不會改變，只是網址。當內容停止更改時，有沒有辦法讓Scrapy停止分頁？或者我可以編寫自定義的東西。

Answer 1

如果內容沒有改變，您可以將當前頁面的內容與前一頁面進行比較，如果相同，則中斷爬網。

例如：

def parse(self, response): 
    product_urls = response.xpath("//a/@href").extract() 
    # check last page 
    if response.meta.get('prev_urls') == product_urls: 
     logging.info('reached the last page at: {}'.format(response.url)) 
     return # reached the last page 
    # crawl products 
    for url in product_urls: 
     yield Request(url, self.parse_product) 
    # create next page url 
    next_page = response.meta.get('page', 0) + 1 
    next_url = re.sub('page=\d+', 'page={}'.format(next_page), response.url) 
    # now for the next page carry some data in meta 
    yield Request(next_url, 
        meta={'prev_urls': product_urls, 
         'page': next_page}