使用httpclient點擊下一步按鈕？

Question

我正在編寫一個程序來從網站上刮掉源代碼。每次單擊下一個按鈕時，都會轉到網站上的下一頁，發送一條帖子請求。

我一直在尋找使用httpclient來處理這個問題，並通過例子和httpclient API查看，但我似乎無法弄清楚是否httpclient可以做到這一點。這是httpclient的一個功能，如果是的話，這個類會怎麼做呢？

Answer 1

我認爲你所說的你正在執行http的網頁上包含一個「下一個按鈕」，當你在瀏覽器中查看網頁並點擊下一個按鈕時，下一頁該網站顯示。

如果是這樣的話，是的，http客戶端可以做同樣的事情。但要明白，http客戶端不會與您的網絡瀏覽器集成。但是，您可以使用類似jsoup的庫來掃描http獲取請求返回的源代碼，以便提取網站上「下一個」頁面的url，然後發出另一個http get來獲取該資源。

假設您已經有了http客戶端發出初始http get請求的代碼，那麼就不需要額外的api了。您的程序發現「下一個」資源的網址後，您只需發出另一個請求。