JSoup：解析Twitter列表

我想用JSoup解析一個Twitter列表（例如https://twitter.com/spdbt/lists/spd-bundestagsabgeordnete/members）。我的問題是，該網頁是動態的，即我只收到頁面的前20個結果。有沒有什麼辦法JSoup可以獲取整個頁面？JSoup：解析Twitter列表

目前，我的代碼如下所示：

Document doc = Jsoup.connect(listAdress).get(); 
Elements usernames = doc.select(".username.js-action-profile-name"); 
Elements realNames = doc.select(".fullname.js-action-profile-name"); 
// iterate over usernames and realNames and do something

提前感謝！

來源

2015-11-22 pes04

我不認爲這是可能的：[更多信息]（http://stackoverflow.com/questions/25749309/using-jsoup-to-parse-a-dynamic-page） –

終於通過使用Twitter的庫解決了這個問題，但感謝你的幫助。

來源

2015-11-26 17:11:53 pes04

一些變通使用Selenium

加載頁面完全

得到使用Selenium方法頁面的源代碼，實現與上述網址這個

啓動瀏覽器。
將此內容傳遞給JSOUP
解析它。

邏輯

WebDriver driver = new FirefoxDriver(); 
driver.get("https://twitter.com/spdbt/lists/spd-bundestagsabgeordnete/members") 
//some logic to scroll or you do it manually 
String pageContent = driver.getPageSource(); 
Document doc = Jsoup.parse(pageContent); 
//from here write your logic to get the required values

來源

2015-11-24 11:18:02 Santoshsarma

JSoup：解析Twitter列表

回答

相關問題