如何編寫用於硒和Scrapy的定製下載器中間件？

Question

我有問題selenium和scrapy對象之間進行通信。

我使用硒登錄到某個網站，一旦我得到了這個響應，我想使用scrape的工作人員來解析和處理。請有人幫我編寫中間件，以便每個請求都應該通過selenium web驅動程序，並且響應應該傳遞給scrapy。

謝謝！

Answer 1

這是非常簡單的，創建一箇中間件來的webdriver和使用process_request攔截請求，丟棄它並使用URL它必須將它傳遞給你的硒的webdriver：

from scrapy.http import HtmlResponse 
from selenium import webdriver 


class DownloaderMiddleware(object): 
    def __init__(self): 
     self.driver = webdriver.Chrome() # your chosen driver 

    def process_request(self, request, spider): 
     # only process tagged request or delete this if you want all 
     if not request.meta.get('selenium'): 
      return 
     self.driver.get(request.url) 
     body = self.driver.page_source 
     response = HtmlResponse(url=self.driver.current_url, body=body) 
     return response 

這樣做的缺點是你必須擺脫蜘蛛中的併發，因爲硒webdrive一次只能處理一個url。有關詳情，請參閱settings documentation page。