使用Nutch如何抓取uisng ajax網頁的動態內容？

Question

我使用Apache Nutch 1.10來抓取網頁並提取頁面中的內容。某些鏈接包含在ajax調用中加載的動態內容。 Nutch無法抓取並提取ajax的動態內容。我該如何解決這個問題？有沒有解決方法？如果是的話，請幫我解答。

在此先感謝。

Answer 1

大多數網絡爬蟲庫不提供開箱即用的javascript渲染。您通常需要插入另一個庫，或者提供像Selenium或PhantomJS這樣的js渲染的產品。

這是tutorial using nutch and Selenium。

Answer 2

簽出最新的Nutch 1.11中繼，其中包括一個新的插件協議交互式硒。 （https://github.com/apache/nutch/tree/trunk/src/plugin/protocol-interactiveselenium）

這個插件允許你編寫你自己的處理程序並執行javascript來獲取動態內容。