如何使用Perl動態獲取網頁內容？

Question

這有點棘手。據我猜測，這個網頁使用某種AJAX來根據搜索查詢提取內容。當我使用Perl獲取頁面時，它會獲取php/html後面的腳本代碼，但不會獲取手動搜索查詢時顯示的結果。我需要能夠獲取結果頁面的內容。無論如何要在Perl中做到這一點？

Answer 1

在Perl中查看Selenium RC和WWW::Selenium模塊。有了它們，你可以控制一個真正的網絡瀏覽器

另一個選項是WWW::HtmlUnit，它使用HtmlUnit Java庫在沒有Web瀏覽器的情況下執行JavaScript。 WWW::HtmlUnit使用Inline::Java爲Perl提供對該庫的訪問權限。我發現在安裝時，最好對「你是否想構建JNI擴展？」這個問題說「不」。

Answer 2

如果你正在編寫需要檢查渲染頁面的測試，你可以看看Schwern的javascript-tap-harness，它適用於Selenium並處理所有的腳手架。

我也發現Using WWW::Selenium To Test Or Automate An Ajax Website很有用。