Python中動態網頁抓取

Question

如何在Python中抓取動態上傳的網頁？
在Python中可能嗎？

就像使用Beautifulsoup時一樣，我們只能抓取網頁的靜態內容。
但我想刮一個動態上傳的網頁。

Answer 1

您可以使用包mechanize來完成您在瀏覽器中執行的大多數操作。

Andy Lester的Perl模塊WWW :: Mechanize之後的有狀態編程Web瀏覽。

mechanize.Browser實現了urllib2.OpenerDirector接口。瀏覽器對象具有狀態，包括導航歷史記錄，HTML表單狀態，Cookie等。由Browser對象處理的一組功能和URL方案是可配置的。該庫還提供了一個與urllib2大部分兼容的API：如果將「urllib2」替換爲「mechanize」，則urllib2程序可能仍然有效。功能包括：ftp：，http：和文件：URL模式，瀏覽器歷史記錄，超鏈接和HTML表單支持，HTTP cookie，HTTP-EQUIV和刷新，Referer [sic]標題，robots.txt，重定向，代理服務器，和基本和摘要HTTP認證。