壓縮unicode（utf16）字符串的短緩衝區

Question

我有幾個簡短的utf16字符串，我需要壓縮（每個大約20-200字符長）。

該字符串幾乎總是使用英文字符和數字創建的。

我大概可以自己寫一些壓縮文件，其中大約有50％的結果。

尋找一個想法/實現。

使用C＃林

Answer 1

1. 使用UTF-8。它給你你要求的50％。
2. 通過利用這些字節的幾乎所有高位在英文文本中都爲零的事實，您可以輕鬆實現更多功能。
3. 然後，您可以應用共享的預先計算的霍夫曼樹來利用字母分佈。
4. 對於很長的字符串（比如> 100個字符），我可以想象使用Deflate或類似的東西開始變得有效。轉換爲UTF-8後，我會使用Deflate。
5. 如果你願意使用共享字典，你可以實現更多的壓縮。該字典需要預先計算並與整個語料庫共享。