CrawlSpider with Splash在第一個URL後卡住

Question

我正在寫一個scrapy蜘蛛，我需要用splash來渲染一些響應。我的蜘蛛是基於CrawlSpider的。我需要呈現我的start_url響應來提供抓取蜘蛛。不幸的是，我的爬行蜘蛛在呈現第一響應後停止。任何想法出了什麼問題？

class VideoSpider(CrawlSpider): 

    start_urls = ['https://juke.com/de/de/search?q=1+Mord+f%C3%BCr+2'] 

rules = (
    Rule(LinkExtractor(allow=()), callback='parse_items',process_request = "use_splash",), 
) 

def use_splash(self, request): 
    request.meta['splash'] = { 
      'endpoint':'render.html', 
      'args':{ 
       'wait':0.5, 
       } 
      }  
    return request 

def start_requests(self): 
    for url in self.start_urls: 
     yield scrapy.Request(url, self.parse, meta={ 
      'splash': { 
       'endpoint': 'render.html', 
       'args': {'wait': 0.5} 
     } 
    }) 


def parse_items(self, response):  
    data = response.body 
    print(data) 

Answer 1

使用SplashRequest代替scrapy.Request ......看看我的答案 CrawlSpider with Splash