Nokogiri可以解釋JavaScript嗎？ - 網頁抓取

Question

我們正試圖刮掉此頁面上的可用性： http://www.equityapartments.com/new-york/new-york-city-apartments/midtown-west/mantena-apartments.aspx

我需要用我的蜘蛛對「所有的建築平面圖」選擇並獲取所有的可用性。但數據實際上是通過Javascript請求發送的，我相信。我的Nokogiri蜘蛛能呈現它嗎？或者，也許模擬點擊按鈕的過程？

Answer 1

Nokogiri只是一個parser。它也允許搜索內容。

要與網頁進行互動，您需要使用其他內容，例如Watir和PhantomJS。

結合它們放在一起：

browser = Watir::Browser.new(:phantomjs) 

browser.goto(your_url_above) 
browser.link(text: 'All floorplans').click 

document = Nokogiri::HTML(browser.html) 
document.search(...) 

Answer 2

是的，你可以做到這一點，如果房型圖有一個id /班。你可以從你的頁面獲得這些信息。

您將需要firepath來幫助您獲取元素的XPath，然後您可以使用它來迭代它們。例如，最近我從事webpagescraper從fundly.com刮HTML。

要獲得所有冠軍，如HTML所有titles元素有同樣的課，我能夠使用的XPath與類名願意瞭解https://fundly.com/search/%60 EVERY標題：

require 'rubygems' 
require 'nokogiri' 
require 'open-uri' 

doc.search('h4.f-width-100').each do |title| 
    @campaign_titles << title.text 
end 

請參考我的以上項目，如果您需要更多幫助以從任何網站獲取價值。