2017-09-05 48 views
0

即使我傳遞如下頭像,我得到416錯誤:http不處理或不允許。http反應是不允許的或不使用scrapy在python中處理?

headers = {'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', 
         'Accept-Encoding':'gzip, deflate, br,sdch', 
         'Accept-Language':'en-US,en;q=0.8', 
         'AlexaToolbar-ALX_NS_PH':'AlexaToolbar/alx-4.0.1', 
         'Cache-Control':'max-age=0', 
         'Connection':'keep-alive', 
         'Host':'www.links.com', 
         'Referer':'https://www.links.com/', 
         'Upgrade-Insecure-Requests':'1', 
         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'} 
+1

顯示一些相關的代碼,請 – Nabin

回答

0

嘗試限制頭下面,看看它是否有助於

headers = { 
      'Accept-Language':'en-US,en;q=0.8', 
      'Cache-Control':'max-age=0', 
      'Host':'www.mdlinx.com', 
      'Referer':'https://www.mdlinx.com/', 
      'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'} 

基本上您的網站拋出416,當然scrapy不會處理這個問題。所以你需要鍛鍊哪些頭部導致問題。最好的辦法是使用chrome開發工具,將請求複製爲curl並查看是否有效。這也可能與沒有cookies在那裏有關。

你需要弄清楚什麼可行,什麼不能再工作了這一點

編輯-1

Copy As curl

+0

我did'nt上得到ü這....最好的事情是使用chrome開發工具,將請求複製爲curl並查看是否有效。這也可能與沒有cookies在那裏有關。 你需要確定什麼可行,哪些不行,然後解決這個問題 –

+0

查看編輯截圖 –

相關問題