爲通過AJAX加載的HTML body申請HTML

Question

嗨，我現在正在構建一個基於webcrawler的程序。目前我遇到了一個障礙，因爲對我的html請求的回覆只給了我一些內容。其餘內容在我的瀏覽器中加載，但在調用請求（url，cb）時不會顯示。

我的猜測是，這部分html代碼是通過類似angularjs的東西加載的，因爲我的瀏覽器顯示了所有缺少的內容（並且您可以看到缺少的內容正在加載到頁面之後） 。

我該如何解決這個問題？是否有一種方法可以在添加所有元素後獲取html？

謝謝

Answer 1

你是對的。只要使用請求獲取HTML，在使用所有JavaScript呈現後，您將無法看到該頁面的外觀。我會看看phantomjs或基於幻像的框架，如http://nrabinowitz.github.io/pjscrape/。這將允許您在客戶端JavaScript執行後訪問HTML。