Perl - 文件編碼和字比較

Question

我有一個文件有一個短語/術語每一行，我從STDIN讀取perl。我有一個停用詞表（如「á」，「são」，「é」），我想比較每個詞與每個詞，並刪除它們是否相等。問題是我不確定該文件的編碼格式。

我得到這個從file命令：

words.txt: Non-ISO extended-ASCII English text 

我的Linux終端是UTF-8，它顯示了一些單詞正確的內容和別人不一樣。下面是其中一些輸出：

condi<E3> 
conte<FA>dos 
ajuda, mas não resolve 
mo<E7>ambique 
pedagógico são fenómenos 

你可以看到，第3和第5行正確識別單詞，重音和特殊字符，而有的則沒有。其他線路的正確輸出應該是：condiã，conteúdos和莫桑比克。

如果我使用binmode(STDOUT, utf8)，「錯誤」行現在可以正確輸出，而其他的不行。例如，第三行：

阿茹達，MAS NA£Ø決心

我應該怎麼辦的傢伙？

Answer 1

它的工作原理是這樣的：

C:\Dev\Perl :: chcp 
Aktive Codepage: 1252. 

C:\Dev\Perl :: type mixed-encoding.txt 
eins zwei drei Käse vier fünf Wurst 
eins zwei drei Käse vier fünf Wurst 

C:\Dev\Perl :: perl mixed-encoding.pl < mixed-encoding.txt 
eins zwei drei vier fünf 
eins zwei drei vier fünf 

凡mixed-encoding.pl是這樣的：

use strict; 
use warnings; 
use utf8; # source in UTF-8 
use Encode 'decode_utf8'; 
use List::MoreUtils 'any'; 

my @stopwords = qw(Käse Wurst); 

while (<>) { # read octets 
    chomp; 
    my @tokens; 
    for (split /\s+/) { 
     # Try UTF-8 first. If that fails, assume legacy Latin-1. 
     my $token = eval { decode_utf8 $_, Encode::FB_CROAK }; 
     $token = $_ if $@; 
     push @tokens, $token unless any { $token eq $_ } @stopwords; 
    } 
    print "@tokens\n"; 
} 

注意，腳本沒有在UTF-8編碼。只是，如果腳本中包含時髦的字符數據，則必須確保編碼匹配，如果編碼爲UTF-8，則爲use utf8，如果編碼不是UTF-8，則不要。

更新基於tchrist的中肯的意見：

use strict; 
use warnings; 
# source in Latin1 
use Encode 'decode'; 
use List::MoreUtils 'any'; 

my @stopwords = qw(Käse Wurst); 

while (<>) { # read octets 
     chomp; 
     my @tokens; 
     for (split /\s+/) { 
       # Try UTF-8 first. If that fails, assume 8-bit encoding. 
       my $token = eval { decode utf8 => $_, Encode::FB_CROAK }; 
       $token = decode Windows1252 => $_, Encode::FB_CROAK if $@; 
       push @tokens, uc $token unless any { $token eq $_ } @stopwords; 
     } 
     print "@tokens\n"; 
} 

Answer 2

我強烈建議你創建一個過濾器，需要在混合編碼行的文件，並將它們轉換爲純UTF-8。然後，而不是

open(INPUT, "< badstuff.txt") || die "open failed: $!"; 

，你會從定影液打開任一固定的版本，或管道，如：

open(INPUT, "fixit < badstuff.txt |") || die "open failed: $!" 

在這兩種情況下，你會再

binmode(INPUT, ":encoding(UTF-8)") || die "binmode failed"; 

然後fixit程序可以這樣做：

use strict; 
use warnings; 
use Encode qw(decode FB_CROAK); 

binmode(STDIN, ":raw") || die "can't binmode STDIN"; 
binmode(STDOUT, ":utf8") || die "can't binmode STDOUT"; 

while (my $line = <STDIN>) { 
    $line = eval { decode("UTF-8", $line, FB_CROAK() }; 
    if ($@) { 
     $line = decode("CP1252", $line, FB_CROAK()); # no eval{}! 
    } 
    $line =~ s/\R\z/\n/; # fix raw mode reads 
    print STDOUT $line;  
} 

close(STDIN) || die "can't close STDIN: $!"; 
close(STDOUT) || die "can't close STDOUT: $!"; 
exit 0; 

看看如何工作？當然，您可以將其更改爲其他編碼的默認值，或者有多個回退。可能最好在@ARGV中列出它們的列表。