引入nokogiri，開URI和Unicode字符

Question

我使用的是引入nokogiri和開放URI搶在網頁標題標籤的內容，但我有重音字符的麻煩。處理這些問題的最佳方法是什麼？下面是我在做什麼：

require 'open-uri' 
require 'nokogiri' 

doc = Nokogiri::HTML(open(link)) 
title = doc.at_css("title") 

在這一點上，標題是這樣的：

碎布\ 303 \ 271

相反的：

Ragù

如何讓nokogiri返回正確的字符（例如：在這種情況下）？

下面是一個例子網址：

http://www.epicurious.com/recipes/food/views/Tagliatelle-with-Duck-Ragu-242037

Answer 1

當你說 「是這樣的，」 你查看此值IRB？它將轉義非字符範圍的字符，用C風格轉義表示字符的字節序列。

如果使用puts打印它們，您會按照預期將它們還原，假設您的shell控制檯正在使用與所討論的字符串相同的編碼（顯然，在這種情況下UTF-8基於返回的兩個字節爲那個角色）。如果將值存儲在文本文件中，則打印到句柄也應該導致UTF-8序列。

如果需要UTF-8和其他編碼之間進行轉換，具體取決於您是否是用Ruby 1.9或1.8.6。

For 1.9：http://blog.grayproductions.net/articles/ruby_19s_string for 1.8，你可能需要看Iconv。

另外，如果你需要在Windows COM組件進行交互，你需要告訴紅寶石使用正確的編碼，類似如下：

require 'win32ole' 

WIN32OLE.codepage = WIN32OLE::CP_UTF8 

如果你使用MySQL進行交互，您需要將表格上的排序規則設置爲支持您正在使用的編碼的排序規則。一般來說，最好將排序規則設置爲UTF-8，即使其中一些內容以其他編碼形式返回也是如此。你只需要根據需要進行轉換。

引入nokogiri有不同的編碼處理（可能是通過語言Iconv）的一些功能，但我有點出與實踐，所以我會離開這個解釋給別人。

Answer 2

只需添加一個交叉引用，該SO頁面給出了一些相關的信息：

How to make Nokogiri transparently return un/encoded Html entities untouched?

Answer 3

你需要轉換被刮從網站的響應（這裏epicurious.com）爲UTF-8編碼。

按照網頁中的HTML內容被刮掉，它的「ISO-8859-1」現在。所以，你需要做這樣的事情：

require 'iconv' 
doc = Nokogiri::HTML(Iconv.conv('utf-8//IGNORE', 'ISO-8859-1', open(link).read)) 

瞭解更多關於在這裏：​​http://www.quarkruby.com/2009/9/22/rails-utf-8-and-html-screen-scraping

Answer 4

嘗試設置引入nokogiri的編碼選項，例如：

require 'open-uri' 
require 'nokogiri' 
doc = Nokogiri::HTML(open(link)) 
doc.encoding = 'utf-8' 
title = doc.at_css("title") 

Answer 5

摘要：當通過open-uri將UTF-8餵給Nokogiri時，請使用open(...).read並將生成的字符串傳遞給Nokogiri。

分析： 如果我使用curl抓取網頁，標題正確顯示Content-Type: text/html; charset=UTF-8，文件內容包括有效UTF-8，例如"Genealogía de Jesucristo"。但是，即使在Ruby文件和設置文檔編碼一個神奇的評論，它沒有好：

# encoding: UTF-8 
require 'nokogiri' 
require 'open-uri' 

doc = Nokogiri::HTML(open('http://www.biblegateway.com/passage/?search=Mateo1-2&version=NVI')) 
doc.encoding = 'utf-8' 
h52 = doc.css('h5')[1] 
puts h52.text, h52.text.encoding 
#=> Genealogà a de Jesucristo 
#=> UTF-8 

我們可以看到，這是不是開-URI故障：

html = open('http://www.biblegateway.com/passage/?search=Mateo1-2&version=NVI') 
gene = html.read[/Gene\S+/] 
puts gene, gene.encoding 
#=> Genealogía 
#=> UTF-8 

這是似乎是在處理open-uri時的一個Nokogiri問題。這可以通過將HTML作爲原始字符串引入nokogiri被工作圍繞：

# encoding: UTF-8 
require 'nokogiri' 
require 'open-uri' 

html = open('http://www.biblegateway.com/passage/?search=Mateo1-2&version=NVI') 
doc = Nokogiri::HTML(html.read) 
doc.encoding = 'utf-8' 
h52 = doc.css('h5')[1].text 
puts h52, h52.encoding, h52 == "Genealogía de Jesucristo" 
#=> Genealogía de Jesucristo 
#=> UTF-8 
#=> true 

Answer 6

我有同樣的問題和語言Iconv的做法是行不通的。 Nokogiri::HTML是Nokogiri::HTML.parse(thing, url, encoding, options)的別名。

所以，你只需要做：

doc = Nokogiri::HTML(open(link).read, nil, 'utf-8')

，它會正確地轉換頁面編碼爲UTF-8。您將看到Ragù而不是Rag\303\271。

Answer 7

提示：您也可以使用Scrapifier gem以非常簡單的方式從URI獲取元數據（作爲頁面標題）。數據全部以UTF-8編碼。

檢查出來：https://github.com/tiagopog/scrapifier

希望這對您有用。