在cURL下載頁面之前等待Javascript？

Question

如何在等到所有的Javascript都在加載之前加載一個網站？我試圖從我的一個頁面下載HTML，但它是異步獲取信息的，所以cURL獲取一個半載的頁面。有沒有辦法讓cURL獲取滿載的頁面？

Answer 1

您需要使用無頭瀏覽器引擎來執行此操作。 cURL和wget是HTTP庫;他們會說HTTP並將文檔下載爲文本。他們沒有一個DOM或JavaScript引擎的概念，可以幫助他們理解一個頁面在做AJAX。所以要下載HTML，你需要一些更像瀏覽器的東西，通過解析一個DOM並執行JS。我推薦使用Crowbar，它使用Mozilla引擎。