網頁抓取動態內容

我想用python windmill模塊刮網頁。但加載特定網頁時它不斷地卡住在該行：收到網頁抓取動態內容

clientele.waits.forElement(xpath=u"//body[@class='yellow']/table", timeout=30000)

的錯誤是

raise WindmillTestClientException(result['result'])

但是當我嘗試在一個單獨的代碼來湊這個網頁它的工作原理。由於風車文件不夠，我無法確定錯誤的原因。

有人可以幫助我識別錯誤或指向我一個更好的模塊，即一個更好的記錄？

「傳統」的回答簡單的網頁抓取Python中是[scrapy]（ http://scrapy.org/）。 – Ben 2013-03-23 20:56:17

三種流行的解決方案：

2013-06-16 12:45:12 McMeep

回答