ruby​​ 1.9：UTF-8中的字節順序無效

Question

我在Ruby（1.9）中編寫了一個爬取程序，它從很多隨機站點中消耗大量HTML。
當試圖提取鏈接時，我決定只使用.scan(/href="(.*?)"/i)而不是nokogiri/hpricot（主要加速）。問題是我現在收到很多「invalid byte sequence in UTF-8」錯誤。
從我的理解，net/http庫沒有任何編碼的具體選項，並進來的東西基本上沒有正確標記。
實際使用傳入數據的最佳方式是什麼？我試圖.encode與取代的和無效的選項集，但是沒有成功，到目前爲止...

Answer 1

您使用scan之前，請確保所請求的頁面的Content-Type頭是text/html，因爲可以有鏈接之類的東西哪些是圖像沒有用UTF-8編碼。如果您在<link>元素中挑選了href，該頁面也可能不是html。如何檢查這一點取決於您使用的HTTP庫。然後，確保結果僅爲String#ascii_only?（不是UTF-8，因爲HTML只能使用ascii，否則可以使用實體）。如果這兩項測試都通過，則使用scan是安全的。

Answer 2

我建議你使用HTML解析器。找到最快的一個。

解析HTML並不像看起來那麼容易。

瀏覽器在UTF-8 HTML文檔中解析無效的UTF-8序列，只是放上「 」符號。所以一旦HTML中的無效UTF-8序列被解析，結果文本就是一個有效的字符串。

即使裏面的屬性值，你必須解碼HTML實體，如放

下面是總結了，爲什麼你不能可靠地解析HTML使用正則表達式一個很大的問題： RegEx match open tags except XHTML self-contained tags

Answer 3

我遇到字符串，其中有英文，俄文和其他一些字母的混合，這引起了異常。我只需要俄語和英語，而目前這對我的作品：

ec1 = Encoding::Converter.new "UTF-8","Windows-1251",:invalid=>:replace,:undef=>:replace,:replace=>"" 
ec2 = Encoding::Converter.new "Windows-1251","UTF-8",:invalid=>:replace,:undef=>:replace,:replace=>"" 
t = ec2.convert ec1.convert t 

Answer 4

我目前的解決方案是運行：

my_string.unpack("C*").pack("U*") 

這將至少幹掉這是我的主要問題

例外的

Answer 5

在Ruby 1.9.3中，可以使用String.encode來「忽略」無效的UTF-8序列。下面是一個片段，將在1.8（iconv）和1.9工作都（String#encode）：

require 'iconv' unless String.method_defined?(:encode) 
if String.method_defined?(:encode) 
    file_contents.encode!('UTF-8', 'UTF-8', :invalid => :replace) 
else 
    ic = Iconv.new('UTF-8', 'UTF-8//IGNORE') 
    file_contents = ic.iconv(file_contents) 
end 

，或者如果你真的有麻煩的輸入，你可以做從UTF-8雙轉換爲UTF-16和回UTF-8：

require 'iconv' unless String.method_defined?(:encode) 
if String.method_defined?(:encode) 
    file_contents.encode!('UTF-16', 'UTF-8', :invalid => :replace, :replace => '') 
    file_contents.encode!('UTF-8', 'UTF-16') 
else 
    ic = Iconv.new('UTF-8', 'UTF-8//IGNORE') 
    file_contents = ic.iconv(file_contents) 
end 

Answer 6

雖然Nakilon的解決方案有效，至少儘可能讓過去的錯誤，在我的情況，我有這個奇怪的F-編了字符從Microsoft Excel始發轉換爲CSV這是登記在紅寶石作爲（得到這個）紅寶石K是一個粗體K.爲了解決這個問題，我用'iso-8859-1'即。CSV.parse(f, :encoding => "iso-8859-1")，它把我的任性deaky西里爾K公司的進入更易於管理/\xCA/，我會再與string.gsub!(/\xCA/, '')

Answer 7

這似乎是工作刪除：

def sanitize_utf8(string) 
    return nil if string.nil? 
    return string if string.valid_encoding? 
    string.chars.select { |c| c.valid_encoding? }.join 
end 

Answer 8

接受的答案，也不是我的其他答案的工作。我發現this post其中建議

string.encode!('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: '') 

這解決了我的問題。

Answer 9

如果你不這樣做你可以做類似的數據「照顧」：

search_params = params[:search].valid_encoding? ? params[:search].gsub(/\W+/, '') : "nothing"

我只是用valid_encoding?以獲得通過的。我是一個搜索領域，所以我一遍又一遍地發現同樣的怪異，所以我使用了類似的東西：只是爲了讓系統不中斷。由於我不會控制用戶體驗以在發送此信息之前進行自動驗證（例如自動反饋說「虛擬起來！」），所以我可以將它取出，將其除去並返回空白結果。

Answer 10

試試這個：

def to_utf8(str) 
    str = str.force_encoding('UTF-8') 
    return str if str.valid_encoding? 
    str.encode("UTF-8", 'binary', invalid: :replace, undef: :replace, replace: '') 
end 

Answer 11

attachment = file.read 

begin 
    # Try it as UTF-8 directly 
    cleaned = attachment.dup.force_encoding('UTF-8') 
    unless cleaned.valid_encoding? 
    # Some of it might be old Windows code page 
    cleaned = attachment.encode('UTF-8', 'Windows-1252') 
    end 
    attachment = cleaned 
rescue EncodingError 
    # Force it to UTF-8, throwing out invalid bits 
    attachment = attachment.force_encoding("ISO-8859-1").encode("utf-8", replace: nil) 
end