刮下頁XHR請求

Question

我想刮這個用戶的第二頁reviews。

但是，下一個按鈕執行XHR請求，雖然我可以使用Chrome開發人員工具查看它，但我無法複製它。

Answer 1

這不是那麼容易的任務。首先你應該安裝這個 extension。 它可以幫助您根據捕獲的數據測試自己的請求，即捕獲和模擬捕獲數據的請求。

正如我所看到的，他們在這個XHR請求中發送了一個令牌，所以您需要從html頁面主體中獲取它（存儲在源代碼中，js變量「taSecureToken」）。

接下來你需要做的四個步驟：用插件

更改令牌

1. 趕上POST請求保存之前
2. 在POST請求數據集limit和offset變量
3. 生成與導致請求body

注意：在這個請求服務器返回json數據（而不是下一頁的html），其中包含關於下一頁加載對象的信息。