如何抓取具有前端js框架的網站

Question

我們目前正在嘗試swiftype，並希望看到如何抓取我們的網站具有javascript框架，因爲有異步調用。

我創建了一個引擎，並能夠根據我的站點地圖運行爬網，但不是閱讀實際內容，而是閱讀我的Angular js代碼。

對於如：

如果有一個角碼類似 <div ng-class='grey title'> {{ctrl.title}}</div>

，如果這個數據被綁定的，而不是讀標題在頁面加載，它讀取的實際代碼爲{{ctrl.title}} 所以當我搜索，頁面會返回類似 「這篇文章是關於{{ctrl.title}}，我們帶你......」

就如何使任何想法合作與js框架兼容？

Answer 1

您可以使用「無頭」瀏覽器，如Phantom.js。 「無頭」意味着它沒有GUI。由於它實際上是一個瀏覽器，它會正確解釋頁面。它可以從運行服務器端的JavaScript開始。查看Web Scraping : Handling AJAX website part I和GitHub上的代碼：introWebScraping。