從AJAX/Javascript網頁抓取內容

Question

我需要在網頁上做一些屏幕抓取，其中我需要的內容是由AJAX生成的。在最初的頁面上有一個包含4個選項卡的表格。當您單擊任何選項卡時，表格的內容會發生變化。我只需要第三個標籤中的內容。 我已經使用google chrome'Inspect Element'工具來查看請求和發佈數據是什麼，並且我可以在將信息（會話ID和許多其他cookie數據以及發佈數據）從檢查元素結果到PHP curl請求。但這隻適用於會議持續的30分鐘。有誰知道我可以獲取這些信息的方式嗎？

Answer 1

最後我用htmlunit來獲取我需要的內容。我還發現HTMLUnit Scripter對於幫助生成所需的Java代碼非常有用。

Answer 2

我不會重現這裏的代碼，但我會指出你的答案。這本書中 它：

http://www.amazon.com/Webbots-Spiders-Screen-Scrapers-Developing/dp/1593273975/ref=dp_ob_image_bk

A必須買的人做你做的事情。