將unicode字符串拆分爲300字節的塊而不破壞字符

Question

我想將u"an arbitrary unicode string"拆分爲300字節的塊而不破壞任何字符。這些字符串將被寫入使用unicode_string.encode("utf8")預計utf8的套接字。我不想毀掉任何角色。我將如何做到這一點？

Answer 1

UTF-8就是爲此而設計的。

def split_utf8(s, n): 
    """Split UTF-8 s into chunks of maximum length n.""" 
    while len(s) > n: 
     k = n 
     while (ord(s[k]) & 0xc0) == 0x80: 
      k -= 1 
     yield s[:k] 
     s = s[k:] 
    yield s 

未經測試。但是你找到了一個分裂的地方，然後回溯到一個角色的開始。

但是，如果用戶可能想要查看單個塊，則可能需要在字形羣集邊界上進行拆分。這是非常複雜的，但不是棘手的。例如，在"é"中，您的可能不想將"e"和"´"分開。或者你可能不在乎，只要他們最終再次陷入困境。

Answer 2

如果你可以確保你的字符的utf-8表示只有2字節長，你應該可以安全地將unicode字符串分成150個字符（對大多數歐洲編碼來說應該是這樣）。但是utf-8是可變寬度編碼。因此，可能會將unicode字符串拆分爲單個字符，將每個字符轉換爲utf-8並填充緩衝區，直至達到最大塊大小......如果高吞吐量是必須的，則這可能效率低下並且存在問題...

Answer 3

UTF-8具有特殊的性質，所有的連續字符0x80 –​​（開始位10）。所以只要確保你在一個之前不分裂。

線沿線的東西：

def split_utf8(s, n): 
    if len(s) <= n: 
     return s, None 
    while ord(s[n]) >= 0x80 and ord(s[n]) < 0xc0: 
     n -= 1 
    return s[0:n], s[n:] 

應該做的伎倆。

Answer 4

其通過設計具有固定每個字符的長度，例如 utf-32

使用Unicode編碼：

>>> u_32 = u'Юникод'.encode('utf-32') 
>>> u_32 
'\xff\xfe\x00\x00.\x04\x00\x00=\x04\x00\x008\x04\x00\x00:\x04\x00\x00>\x04\x00\x 
004\x04\x00\x00' 
>>> len(u_32) 
28 
>>> len(u_32)%4 
0 
>>> 

編碼可以發送任何大小的塊之後，而不破壞字符

（大小必須是4個的倍數字節）

Answer 5

經過測試。

def split_utf8(s , n): 
    assert n >= 4 
    start = 0 
    lens = len(s) 
    while start < lens: 
     if lens - start <= n: 
      yield s[start:] 
      return # StopIteration 
     end = start + n 
     while '\x80' <= s[end] <= '\xBF': 
      end -= 1 
     assert end > start 
     yield s[start:end] 
     start = end