等待頁面（用javaScript）加載和刮取html

Question

我想從網頁中提取數據，爲此，我需要完整的html頁面。

import urllib2 
req = urllib2.Request('https://www.example.com') 
response = urllib2.urlopen(req) 
fullhtml = response.read() 

我嘗試了Python庫ulrllib2，之後我運行代碼，我fullhtml變量只包含一個網頁的一部分，因爲我想在頁面的某些元素加載使用JavaScript，頁面後加載..

有沒有一種方法來等待「整頁加載」，我也嘗試過庫「硒」，但我不認爲它對我來說是有用的。 如果有另一種語言的解決方案（例如PHP），我願意改變語言，做到這一點。

感謝澄清，和對不起我的英語

Answer 1

看看這個http://phantomjs.org/。大多數網站都是基於javascript的，而php或python無法執行它們。我認爲這個圖書館將是你能得到的最好的圖書館。