無法使用引入nokogiri刮頁面

Question

我試圖用引入nokogiri湊這個頁面：http://www.tudou.com/home/_48712163/item

我們的目標是在這個頁面的視頻信息（TITL，HREF等）

的HTML是：

<div class="pack pack_album2" data-stat-role="ck" data-stat-href="http://www.tudou.com/programs/view/e3jLsLPGct0/"></div> 

我瞄準了.pack屬性：

url = 'http://www.tudou.com/home/_48712163/item' 
doc = Nokogiri::HTML(open(url)) 
puts doc.css("title").text 
doc.css(".pack").each do |item| 
    #get video info 
    title = item.css(".txt a")[0]['title'] 
    href = item.at(".txt a")[0]['href'] 
    puts title 
    puts href 
end 

但是，結果返回說.pack是零級。

實際上，我試過puts doc.css(".page-container").to_s,.page-container是.pack的父div。返回結果顯示裏面沒有.pack。

如何獲取.pack的內容？

Answer 1

網站使用Ajax加載內容。

你可以看到Ajax調用和http://js.tudouui.com/v3/dist/js/page/home/v2/main_33.js

複製處理HTML內容，找到「包pack_album2」。 使用Nokogiri無法獲得Ajax內容。

Answer 2

您需要加載JavaScript。如果您習慣使用JavaScript，我建議使用Phantomjs。如果Ruby是您更容易，你可以使用的Watir：

require 'watir-webdriver' 
require 'nokogiri' 

$browser = Watir::Browser.start "http://www.tudou.com/home/_48712163/item" 

$page_html = Nokogiri::HTML.parse($browser.html) 

video_info = $page_html.css("#xpath") 

你可以通過使用無頭的寶石，這取決於你有什麼樣的操作系統上運行這個無頭。

require 'watir-webdriver' 
require 'nokogiri' 
require 'headless' 

headless = Headless.new 

headless.start 
$browser = Watir::Browser.start "http://www.tudou.com/home/_48712163/item" 

$page_html = Nokogiri::HTML.parse($browser.html) 

video_info = $page_html.css("#xpath")