2014-05-23 46 views
0

我想解析一個包含人員及其信息列表的網站,問題是當我向下滾動網站時,使用ajax的網站會加載新的和新的信息。 我需要所有人的信息。閱讀ajax網站的python程序

urllib.open(..)。read()不負責向下滾動。你能否建議我解析所有數據?

+1

可能的重複http://stackoverflow.com/questions/8550114/can-scrapy-be-used-to-scrape-dynamic-content-from-websites-that-are-using-ajax和http:// stackoverflow.com/questions/16390257/scrapping-ajax-pages-using-python – Girish

回答

1

您可以使用chrome的devTool的「Network」面板來確定ajax請求的路徑是什麼。

然後使用python腳本獲取帶有路徑的內容。