java中的多字節編碼

Question

我不知道如何添加多字節編碼支持，並且對多字節語言知之甚少。 正在使用搜索引擎，我的應用程序使用所有編程語言掃描代碼。 某些源代碼可能在其註釋部分使用CJK編碼。 爲了方便起見，我將java作爲源代碼示例，我的應用程序也在java中。

首先，我想編寫測試用例來查看待索引的源代碼是否具有CJK編碼，以及它是否由我的應用程序編碼。 如果支持不包含，我希望我的測試失敗，以便將來可以添加。

但是我不知道如何測試它， 如何在單元測試的輸入樣本中引入CJK，以及在Java應用程序控制臺中輸出什麼。

Answer 1

Byte Order Mark的存在可能有用，但它們是可選的。還有其他方法可以在使用UTF時確定編碼。這可能是有用的：Java : How to determine the correct charset encoding of a stream。