無法使用Python請求檢索網頁的HTML內容

嘗試從網站獲取內容：www.arrow.com但我的程序被凍結。我根本找不到任何迴應。無法使用Python請求檢索網頁的HTML內容

我已經使用了curl，wget和相同的問題。我得到：

<head><title>Document Moved</title></head> 
<body><h1>Object Moved</h1>This document may be found <a HREF="https://www.arrow.com/en/products/search/">here</a></body>

我沒有得到使用POSTMAN的響應，我意識到響應是用gzip編碼的。在網站上，許多人建議添加一些標題來解決這個問題，但迄今爲止我還沒有成功。

import requests 
url = 'http://www.arrow.com/en/products/search/' 
params = {'q': 'ISOW7841FDWER'} 
headers = { 
     'Accept-Encoding': "gzip,x-gzip,deflate,sdch,compress", 
     'Accept-Content': 'gzip', 
     'HTTP-Connection': 'keep-alive', 
     'Accept-Language': "en-US,en;q=0.8", 
    } 
r = requests.get(url, params=params, headers=headers) 
print(r.url) 
print(r.text)

來源

2017-10-05 Ruben

你並不需要在所有headers這些項目，但你需要欺騙用戶代理，否則網站將不會響應。

import requests 

url = 'https://www.arrow.com/en/products/search' 
params = {'q': 'ISOW7841FDWER'} 
headers = {'User-Agent': 'Mozilla/5'} 
r = requests.get(url, params=params, headers=headers) 
print(r.url) 
print(r.text)

來源

2017-10-06 08:22:10

無法使用Python請求檢索網頁的HTML內容

回答

相關問題