從Ruby中的字符串中刪除非UTF字符？

Question

如何從ruby字符串中刪除非UTF8字符？我有一個字符串，例如「xC2」。我想從字符串中刪除該字符，以使其成爲有效的UTF8。

此：

text.gsub!(/\xC2/, '') 

返回一個錯誤：

incompatible encoding regexp match (ASCII-8BIT regexp with UTF-8 string) 

我看着text.unpack（ 'U *'）和string.pack爲好，但沒有取得任何進展。

Answer 1

您可以使用/n，如

text.gsub!(/\xC2/n, '') 

迫使正則表達式對字節操作。

你確定這是你想要的嗎？範圍[U + 80，U + BF]中的任何Unicode字符將以其UTF-8編碼形式的\xC2。

Answer 2

你可以做這樣的

# encoding: utf-8 

class String 
    def validate_encoding 
    chars.select(&:valid_encoding?).join 
    end 
end 

puts "testing\xC2 a non UTF-8 string".validate_encoding 
#=>testing a non UTF-8 string 

Answer 3

嘗試語言Iconv

1.9.3p194 :001 > require 'iconv' 
# => true 
1.9.3p194 :002 > string = "testing\xC2 a non UTF-8 string" 
# => "testing\xC2 a non UTF-8 string" 
1.9.3p194 :003 > ic = Iconv.new('UTF-8//IGNORE', 'UTF-8') 
# => #<Iconv:0x000000026c9290> 
1.9.3p194 :004 > ic.iconv string 
# => "testing a non UTF-8 string" 

Answer 4

您可以使用編碼爲。 text.encode('UTF-8', :invalid => :replace, :undef => :replace)

欲瞭解更多信息考慮Ruby-Docs

Answer 5

data = '' if not (data.force_encoding("UTF-8").valid_encoding?) 

Answer 6

這個問題，我發現的是這個答案對同一問題的最佳解決方案：https://stackoverflow.com/a/8711118/363293。

簡而言之："€foo\xA0".chars.select(&:valid_encoding?).join

Answer 7

你的文字有ASCII-8BIT編碼，而不是你應該使用這樣的：

String.delete!("^\u{0000}-\u{007F}"); 

它將斷絕同樣的目的。