ascii編解碼器無法解碼位於Ubuntu/Python中的位置錯誤中的字節0xe3，但無法在OS X/Python上解碼

Question

我現在在Ubuntu 13.04和Python 2.7.4上，並試圖運行包含以下行的腳本：

html = unicode(html, 'cp932').encode('utf-8') 
html1, html2 = html.split(some_text) # this line spits out the error 

但是，當我在Ubuntu 13.04上運行上述腳本時，它發現錯誤UnicodeDecodeError: 'ascii' codec can't decode byte 0xe3 in position 106: ordinal not in range(128)。但是，這個完全相同的腳本總是可以在OS X 10.8和Python 2.7.3上成功執行。所以我想知道爲什麼錯誤只發生在兩個平臺之一...

我首先想到的是，特別是在看完這篇文章後（UnicodeDecodeError: 'ascii' codec can't decode byte 0xef in position 1）是因爲我處於不同的LANG環境，我在OS X上使用jp_JP.UTF-8，但在Ubuntu上使用en_US.UTF-8。所以我也試着在上面提到的腳本中再增加一行os.environ['LANG'] = 'jp_JP.UTF-8'，但是仍然有同樣的錯誤。

另一個奇怪的現象是，當我嘗試從Ubuntu的IPython shell中運行腳本並在錯誤發生後立即進入調試模式，然後運行最初觸發錯誤的行時，我沒有錯誤更多...

那麼這裏發生了什麼？我錯過了什麼？

在此先感謝。

Answer 1

你還沒有給我們足夠的信息可以肯定的，但有一個很好的機會，這是你的問題：

如果some_text是unicode對象，那麼這行：

html1, html2 = html.split(some_text) # this line spits out the error 

...在str上調用split，並傳遞unicode參數。每當在相同的調用中混合使用str和unicode時，Python 2.x會通過在str上自動調用unicode來處理該問題。所以，這就是等價於：

html1, html2 = unicode(html).split(some_text) # this line spits out the error 

...這相當於：

html1, html2 = html.decode(sys.getdefaultencoding()).split(some_text) # this line spits out the error 

...如果有任何非ASCII字符html，這將無法完全按照你所看到的。

---

簡單的解決方法是顯式編碼some_text爲UTF-8：

html1, html2 = html.split(some_text.encode('utf-8')) 

不過，我個人甚至不會嘗試與str對象來自3個不同的字符集都在同一個程序中工作。爲什麼不只是decode/encode在非常邊緣，只處理unicode到處都是對象？