使用webcrawler下載pdf文件

Question

我開始使用ruby編程語言。我有一個Ruby腳本檢索的PDF文件頁面上海葵：

Anemone.crawl("http://example.com") do |anemone| 
    anemone.on_pages_like(/\b.+.pdf/) do |page| 
    puts page.url 
    end 
end 

我用寶石紅寶石想下載page.url。我可以使用什麼寶石來下載page.url？

Answer 1

如果你是在UNIX系統上，也許UnixUtils：

Anemone.crawl("http://example.com") do |anemone| 
    anemone.on_pages_like(/\b.+.pdf/) do |page| 
    puts page.url   # => http://example.com/foo.bar 
    puts UnixUtils.curl(url) # => /tmp/foo.bar.1239u98sd 
    end 
end 

Answer 2

無需額外的寶石，試試這個

require 'anemone' 

Anemone.crawl("http://www.rubyinside.com/media/",:depth_limit => 1, :obey_robots_txt => true, :skip_query_strings => true) do |anemone| 
    anemone.on_pages_like(/\b.+.pdf/) do |page| 
    begin 
     filename = File.basename(page.url.request_uri.to_s) 
     File.open(filename,"wb") {|f| f.write(page.body)} 
     puts "downloaded #{page.url}" 
    rescue 
     puts "error while downloading #{page.url}" 
    end 
    end 
end 

給

downloaded http://www.rubyinside.com/media/poignant-guide.pdf 

和PDF很好。