UTF-16 perl輸入輸出

Question

我在寫一個腳本，它以UTF-16編碼的文本文件作爲輸入並輸出一個UTF-16編碼的文本文件。

use open "encoding(UTF-16)"; 

open INPUT, "< input.txt" 
    or die "cannot open > input.txt: $!\n"; 
open(OUTPUT,"> output.txt"); 

while(<INPUT>) { 
    print OUTPUT "$_\n" 
} 

我們只是說我的程序寫入從input.txt到output.txt的所有內容。

這工作完全正常在我的cygwin環境，這是使用「這是cygwin的線程多64int內置的Perl 5，版本14，顛覆2（v5.14.2）」

但在我的Windows環境，它使用「這是perl 5，版本12，爲MSWin32-x64-multi-thread構建的subversion 3（v5.12.3）」，

output.txt中的每一行都預先添加了瘋狂的符號第一行。

例如：

<FIRST LINE OF TEXT> 
਀　　　　㈀  ㄀Ⰰ ㈀Ⰰ 嘀愀 ㌀ 䌀梔椀愀 䐀⸀⸀⸀  儀甀愀渀最 䠀ഊ<SECOND LINE OF TEXT> 
... 

誰能給出爲什麼它在Cygwin上而不是窗戶的一些見解？

編輯：按照建議打印編碼圖層後。

在Windows環境：

unix 
crlf 
encoding(UTF-16) 
utf8 
unix 
crlf 
encoding(UTF-16) 
utf8 

在Cygwin環境：

unix 
perlio 
encoding(UTF-16) 
utf8 
unix 
perlio 
encoding(UTF-16) 
utf8 

唯一的區別是所述PerlIO的和CRLF層之間。

Answer 1

【我打算等待並給出一個徹底的答案，但是如果我給你一個快速的答案比什麼都沒有更好。 ]

問題是crlf和encoding圖層順序錯誤。不是你的錯。

例如，假設你使用UTF-16le做print "a\nb\nc\n";（因爲它更簡單，可能是你真正想要的）。你會最終

61 00 0D 0A 00 62 00 0D 0A 00 63 00 0D 0A 00 

，而不是

61 00 0D 00 0A 00 62 00 0D 00 0A 00 63 00 0D 00 0A 00 

我不認爲你可以得到與open編譯或binmode正確的結果，但它可以使用open完成。

open(my $fh, '<:raw:encoding(UTF-16):crlf', $qfn) 

您需要在舊版本IIRC上附加:utf8。

它適用於cygwin，因爲crlf圖層僅在Windows上添加。在那裏，你會得到

61 00 0A 00 62 00 0A 00 63 00 0A 00 

Answer 2

你的編碼有錯字。它應該是use open ":encoding(UTF-16)"注意冒號。我不知道爲什麼它可以在Cygwin上運行，但不是Windows，但也可能是5.12和5.14。 Perl似乎彌補了它，但它可能是導致你的問題的原因。

如果不這樣做，請檢查編碼是否應用於您的文件句柄。

print map { "$_\n" } PerlIO::get_layers(*INPUT); 
print map { "$_\n" } PerlIO::get_layers(*OUTPUT); 

使用詞法文件句柄（即open my $fh, "<", $file）。 Glob文件句柄爲global，因此程序中的其他內容可能會干擾它們。

如果所有檢查出來，如果詞法文件句柄正在應用encoding(UTF-16)，請告訴我們，我們可以嘗試其他方法。

UPDATE：This may provide your answer：「BOM編輯UTF文件不適合流模型，它們必須咕嚕咕嚕的二進制文件，而不是」看起來，你必須閱讀爲二進制文件並做編碼爲串。這可能是5.14版本中的一個錯誤。

更新2：是的，我可以確認這是a bug that was fixed in 5.14。