在Python中屏幕抓取基於Javascript的網頁

Question

我正在使用Python中的屏幕抓取工具。但是，當我瀏覽網頁的源代碼時，我注意到大部分數據都是通過Javascript實現的。

任何想法，如何刮基於JavaScript的網頁？ Python中的任何工具？

感謝

Answer 1

刮基於JavaScript的網頁可能與selenium。特別是，請嘗試Selenium WebDriver。

Answer 2

您可以使用QtWebKit模塊PyQt4庫

Answer 3

我使用的WebKit，它的背後是Chrome和Safari瀏覽器渲染。有Python bindings to webkit through Qt。

這裏是一個完整的Python example to execute JavaScript and extract the final HTML。