以編程方式解析網頁（使用登錄名/ SSL）

Question

我想以編程方式解析沒有公開API的網站上的某些網頁。

例如檢查我的成績是否在大學準備好。

有沒有人做過這樣的事情，並得到一個可用的解決方案？我可能正在尋找一個用python或類似的東西編寫的庫，對吧？

另請注意，其中一些網站需要登錄和/或ssl。你會如何處理這個問題？

Answer 1

我會推薦使用urllib或urllib2，它允許您發送/接收請求，併爲您提供可輕鬆解析的HTML對象。關於如何使用它

import urllib 
proxies = {'http': 'http://proxy.example.com:8080/'} 
opener = urllib.FancyURLopener(proxies) 
f = opener.open("http://www.python.org") 
f.read() 

的更多信息：https://docs.python.org/2/library/urllib.html