如何設置Scrapy並逐一抓取？

Question

如何設置Scrapy並使其爬逐一首先，看看下面我的代碼：？

def parse(self, response): 
     movies = Movie.query.filter(Movie.rating_num>6).all() 
     for m in movies: 
      url = "http://movie.douban.com/subject/"+str(m.id)+"/comments?sort=time&status=P" 
      yield Request(url, self.parse_comment) 

，當我跑這個蜘蛛，它在同moment.In crawed多個網址事實上，我通過這種方式獲得防禦的網站。所以我想知道是否有一個設置scrapy來逐個抓取網頁？

Answer 1

您可以在設置中將CONCURRENT_REQUEST和CONCURRENT_REQUESTS_PER_DOMAIN都設置爲1。