如何在爬網時像登錄用戶一樣行事？

Question

有一個網站可以通過POST驗證進行檢索。

我如何通過登錄名和密碼登錄本網站的封閉部分？

Answer 1

這兒，這類似的問題可能會有所幫助：How to use Python to login to a webpage and retrieve cookies for later usage?這也太：Python Site Login最後這一點：Login to website using python展示瞭如何登錄和使用的cookie登錄該會話的其餘從而讓你解析/刮「封閉」的部分。看看urllib以獲取更多幫助

Answer 2

授予您可以使用urllib2執行POST身份驗證並執行爬網。但是如果你還沒有學過urllib2，那麼使用好的requests庫可能會更好。

你可以在http://docs.python-requests.org/en/latest/index.html找到說明和非常好的教程。

要安裝包裝，請執行pip install requests。在Mac或其他Unix系統，您需要與sudo前綴的命令，這樣sudo pip install requests

Answer 3

你應該看的Asheesh Laroia近期PYCON講題爲「Web scraping: Reliably and efficiently pull data」

講座是2h39m但覆蓋面很多，並且處於友好的步伐。事實上，它是我見過的最棒的編程視頻之一。