刮簡單頁面：scrapy不返回所有鏈接

Question

我試圖抓取使用scrapy的以下頁面：http://www.t13.cl/home/d_ultimas/10。我用

class T13(CrawlSpider): 
    name = 't13' 
    allowed_domains = ["http://www.t13.cl"] 
    start_urls = ['http://www.t13.cl/home/d_ultimas/10'] 

    rules = (
     Rule(LinkExtractor(allow=(r'.')), 
      callback='parse_item'), 
    ) 

    def parse_item(self, response): 
     pass 

但它只返回一個鏈接（第一個）。爲什麼它不遵循該頁面中的所有鏈接？ （如果我使用外殼，它會返回所有選擇器）

Answer 1

看起來您的請求正在被allowed_domains過濾。將其更改爲：

allowed_domains = ["t13.cl"]