scrapy中的動態start_urls

Question

我正在使用scrapy在網站上檢索多個頁面。 變量start_urls用於定義要爬網的頁面。 我最初開始第1頁，從而確定start_urls = [1st page]文件example_spider.py

在當從第1頁獲得更多的信息，我將確定什麼是被抓取網頁旁邊，然後將相應分配start_urls。因此，我必須覆蓋上面的example_spider.py，更改爲start_urls = [1st page, 2nd page, ..., Kth page]，然後再次運行scrapy抓取。

這是最好的方法還是有更好的方法來動態分配使用scrapy API start_urls而不必覆蓋example_splider.py？ 謝謝。

Answer 1

start_urls class屬性包含啓動url - 僅此而已。如果你提取的其他網頁的網址，你想刮 - 產量從[其他]回調parse回調對應的請求：

class Spider(BaseSpider): 

    name = 'my_spider' 
    start_urls = [ 
       'http://www.domain.com/' 
    ] 
    allowed_domains = ['domain.com'] 

    def parse(self, response): 
     '''Parse main page and extract categories links.''' 
     hxs = HtmlXPathSelector(response) 
     urls = hxs.select("//*[@id='tSubmenuContent']/a[position()>1]/@href").extract() 
     for url in urls: 
      url = urlparse.urljoin(response.url, url) 
      self.log('Found category url: %s' % url) 
      yield Request(url, callback = self.parseCategory) 

    def parseCategory(self, response): 
     '''Parse category page and extract links of the items.''' 
     hxs = HtmlXPathSelector(response) 
     links = hxs.select("//*[@id='_list']//td[@class='tListDesc']/a/@href").extract() 
     for link in links: 
      itemLink = urlparse.urljoin(response.url, link) 
      self.log('Found item link: %s' % itemLink, log.DEBUG) 
      yield Request(itemLink, callback = self.parseItem) 

    def parseItem(self, response): 
     ... 

如果仍然要自定義開始請求創建，重寫方法BaseSpider.start_requests()