如何湊數據從一個網站的一部分，需要用戶導航

Question

例如說，我想從這個頁面湊：

http://www.swtor.com/leaderboards/pvp/solo

只顯示前50個結果，很容易去這個鏈接並抓取這些數據。但是說我想抓取頂端200.作爲一個用戶，我可以點擊下一頁，並看到下一個50結果，但它不會生成一個新的網址。整個表格由一些JavaScript控制，而不僅僅是我可以遵循的顯式鏈接。

在這種情況下，你如何使用代碼導航到第二頁等等，以刮擦下一組記錄？

Answer 1

如果打開「網絡」面板上，你的瀏覽器開發者工具，可以看到了XMLHttpRequest（XHR）請求網站並加載表格數據：

http://www.swtor.com/lb/data?page=1&column=pvp_ranked_solo&season=6 
http://www.swtor.com/lb/data?page=2&column=pvp_ranked_solo&season=6 

此端點返回非常方便JSONs和現在只需要根據需要運行儘可能多的請求。提示：頁面數量也在返回的JSON上，所以即使您想要所有記錄，也不需要解析單個HTML頁面。