由ajax加載的抓取內容

Question

如今許多網站都包含一些由ajax加載的內容（例如，某些視頻網站的評論）。通常我們無法抓取這些數據，而我們得到的只是一些js源代碼。所以這裏有一個問題：在我們獲得html響應並進入我們想要的最終頁面後，我們可以通過哪些方式執行javascript代碼？

我知道HtmlUnit有執行背景js的能力，但還是有一些錯誤和錯誤。還有其他工具可以幫助我嗎？

有人告訴我，我可以抓取ajax請求url，分析它的參數並再次發送請求以獲取數據。如果事情不能按照我上面提到的方式工作，任何人都可以告訴我如何提取ajax url並以正確格式發送請求？

順便說一句，如果語言是Java，這將是最好的

Answer 1

是，Netwoof可以輕鬆抓取阿賈克斯。它的API和bot構建器可以讓你在沒有代碼的情況下執行它。

Answer 2

這就是HTTP的偉大的事情，你甚至不需要Java。我用於調試AJAX的goto工具是Chrome擴展Postman。我首先查看chrome調試器中的請求並確定顯着位（url或表格編碼的參數等）

然後它可以像在郵件服務器上打開選項卡和啓動請求一樣簡單。只要它在同一個瀏覽器環境下，所有的cookies（用於認證等）也將隨之發貨。