從可能使用Cookie的網站的URL中提取HTML內容通過Python

我最近想要從似乎使用cookie授予我訪問權的網站提取數據。我對這些程序瞭解不多，但顯然這與我通過Python及其請求模塊獲取網站html內容的方法相互干擾。從可能使用Cookie的網站的URL中提取HTML內容通過Python

我正在提取信息的代碼包含以下行：

import responses 
#... 
response = requests.get(url, proxies=proxies) 
content = requests.text

當網站我指的是http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=6675630&tag=1和代理是我的代理服務器的一個有效的字典（我上測試這些設置似乎工作正常的網站）。但是，如果您不接受瀏覽器中的cookies，則會收到您在本網站上發佈的文章的內容，而不會收到您獲得的網頁的html內容。

因爲我沒有真正意識到網站真的在做什麼，並且缺乏真正的Web開發體驗，所以即使可能以前也有類似的問題出現，我仍無法找到解決方案。有沒有解決方案通過Python訪問本網站的內容？

來源

2017-03-02 WodkaRHR

startr = requests.get('https://viennaairport.com/login/') 

secondr = requests.post('http://xxx/', cookies=startr.cookies)

來源

2017-03-02 15:12:48 mtt2p

呃，我不太明白。我不想登錄，我只想獲取網站的內容。我想在我的情況下，startresponse將是我目前收到的（變量「響應」）。但是，在哪裏發送這些cookie？而且更相關 - 之後獲取網站內容的位置？ – WodkaRHR

從可能使用Cookie的網站的URL中提取HTML內容通過Python

回答

相關問題