更改Scrapy /飛濺用戶代理

Question

我怎樣才能像下面的等價方式設置爲用戶代辦Scrapy與飛濺：

import requests 
from bs4 import BeautifulSoup 

ua = {"User-Agent":"Mozilla/5.0"} 
url = "http://www.example.com" 
page = requests.get(url, headers=ua) 
soup = BeautifulSoup(page.text, "lxml") 

我的蜘蛛將類似於此：

import scrapy 
from scrapy_splash import SplashRequest 


class ExampleSpider(scrapy.Spider): 
     name = "example" 
     allowed_domains = ["example.com"] 
     start_urls = ["https://www.example.com/"] 

     def start_requests(self): 
      for url in self.start_urls: 
       yield SplashRequest(
        url, 
        self.parse, 
        args={'wait': 0.5} 
       ) 

Answer 1

你需要設置user_agent屬性覆蓋默認的用戶代理：

class ExampleSpider(scrapy.Spider): 
    name = 'example' 
    user_agent = 'Mozilla/5.0' 

在這種情況下UserAgentMiddleware（即enabled by default）將覆蓋USER_AGENT設置值爲'Mozilla/5.0'。

您還可以覆蓋頭部每個請求：

scrapy_splash.SplashRequest(url, headers={'User-Agent': custom_user_agent}) 

Answer 2

正確的方法是改變飛濺腳本，包括它......沒有將它添加到蜘蛛雖然哎..如果它的工作原理，以及在... .. yahh

http://splash.readthedocs.io/en/stable/scripting-ref.html?highlight=agent