如何使用Java獲取外部網頁的XMLHTTPRequest響應文本？

-1

我努力從外部網站解析數據，例如，僅使用Java的stackoverflow.com。要知道這個網頁是關於我去Chrome開發工具，發現那裏XMLHTTPRequest response與我需要的所有信息！如果它有用，響應具有JSON格式。問題是如何僅使用Java和不使用Servlet來獲取這些數據。如何使用Java獲取外部網頁的XMLHTTPRequest響應文本？

來源

2016-03-17 antongarakh

**我試圖使用類似WebDriver的東西，但發現它太難以使用cssSelector或類似這樣的**。你究竟打算做什麼？你能提供你嘗試過的代碼示例嗎？ – Andersson

我想不管我究竟做了什麼。問題是如何得到我需要的所有數據的XMLHTTPRequest響應 – antongarakh

不要試圖抓取和解析網頁，只需使用StackExchange API和標準Java工具提出請求並獲取原始數據。

如果您的實際問題與您直接無關，那麼請查找相關網站的API。否則，你將需要通過手動解析網頁或在瀏覽器引擎中運行頁面，並在無頭引擎中使用標準JS來獲取數據，從而逐字地抓取網頁。

來源

2016-03-17 19:03:56 Garbee

對我來說，答案是使用Apache HTTPClient，它提供工具來執行所需的請求 – antongarakh

如何使用Java獲取外部網頁的XMLHTTPRequest響應文本？

回答

相關問題