Scrapy引發屬性錯誤

Question

隨着我在這裏寫代碼的方式我從不同的網站得到的結果，但由於某種原因，這個網站拋出錯誤。由於我是scrapy的新編碼員，因此我無法自行解決問題。 Xpaths是好的。我附加了我在終端看到的代碼一起：

items.py

import scrapy 
class OlxItem(scrapy.Item): 
    Title = scrapy.Field() 
    Url = scrapy.Field() 

olxsp.py

from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.linkextractors import LinkExtractor 

class OlxspSpider(CrawlSpider): 
    name = "olxsp" 
    allowed_domains = ['olx.com.pk'] 
    start_urls = ['https://www.olx.com.pk/'] 

    rules = [Rule(LinkExtractor(restrict_xpaths='//div[@class="lheight16 rel homeIconHeight"]')), 
      Rule(LinkExtractor(restrict_xpaths='//li[@class="fleft tcenter"]'), 
      callback='parse_items', follow=True)] 

    def parse_items(self, response): 
     page=response.xpath('//h3[@class="large lheight20 margintop10"]') 
     for post in page: 
      AA=post.xpath('.//a[@class="marginright5 link linkWithHash detailsLink"]/span/text()').extract() 
      CC=post.xpath('.//a[@class="marginright5 link linkWithHash detailsLink"]/@href').extract() 
      yield {'Title':AA,'Url':CC} 

settings.py

BOT_NAME = 'olx' 
SPIDER_MODULES = ['olx.spiders'] 
NEWSPIDER_MODULE = 'olx.spiders' 

ROBOTSTXT_OBEY = True 

圖像終端在scrapy完成運行後：

Answer 1

1. 您有ROBOTSTXT_OBEY = True，它告訴scrapy檢查它所搜尋域的robots.txt文件，以便確定如何對這些網站進行禮貌。

2. 您允許allowed_domains = ['www.olx.com']中的一個不同於您實際爬網的域名。如果您只想抓取olx.com.pk網站，請將allowed_domains更改爲['olx.com.pk']。如果您實際上不知道要抓取哪些網站，請刪除allowed_domains屬性。