用Ruby爬行JavaScript重量網站

Question

我想抓取/抓取很多嚴重依賴Javascript的網站，這是我的Mechanize代理（我通常使用的）無法處理的，因爲它無法呈現html。一個很好的例子是this site。

有什麼辦法從Ruby on Rails應用程序中獲取該網站的呈現html輸出嗎？

我使用Ruby 2.0.0和Rails 4.0.1

Answer 1

您可以使用Capybara做到這一點。以下資源：

• http://www.chrisle.me/2012/12/scraping-html5-sites-using-capybara-phantomjs/

或者谷歌搜索 「水豚」 刮刀。

有一點需要注意，性能會很糟糕。我已經建立了這樣一個刮板，這幾乎是不值得的。

Answer 2

您可以使用我宏進行網頁瀏覽。您提到的網站使用框架。所以每個框架可以被視爲單獨的頁面和刮。作爲替代，您可以使用簡單的java程序，使用apache HttpClient/HtmlUnit API。