BeautifulSoup獲取innerhtml數據

Question

我正在嘗試從網站讀取數據。我可以看到我需要的值，但該值不會出現在下載的html代碼中（使用urllib2）。該值由一些js文件創建，並作爲該id的innerhtml嵌入到網頁中。 PS：如何提取？原始的源代碼不能呈現與瀏覽器不同的js！

Answer 1

獲取數據的另一種方式是讓瀏覽器使用Selenium完成所有工作，然後讀取呈現的html。有點慢，但肯定有效。

在這裏，你可以找到使用Selenium與Python中的入門指南： http://jimmyg.org/blog/2009/getting-started-with-selenium-and-python.html

Answer 2

有兩種選擇：讓瀏覽器保存DOM（這包括腳本所做的所有更改）或使用JavaScript引擎執行嵌入式腳本。

對於後一種路由，請嘗試使用基於Java的引擎，如Rhino，並使用env.js模擬瀏覽器。