Scrapy檢索不正確的文本編碼，希伯來文爲\ u0d5等

Question

第一次使用這個東西。 檢查了關於內部化/文本編碼的所有其他SOF問題。

我做的Scrapy教程，當我被困在這個部分：Extracting Data， 當我提取數據，文本，而不是希伯來語顯示爲一系列爲\ uXXXX的。

例如，您可以通過抓取this page來查看它;

scrapy shell http://israblog.nana10.co.il/blogread.asp?blog=167524&blogcode=13348970 
hxs.select('//h2[@class="title"]/text()').extract()[0] 

這將檢索

u'\u05de\u05d9 \u05d0\u05e0\u05e1 \u05e4\u05d5\u05d8\u05e0\u05e6\u05d9\u05d0\u05dc\u05d9?'

（無關:)如果你嘗試打印在控制檯中，您可以： Traceback (most recent call last): File "<stdin>", line 1, in <module> File "C:\Python27\lib\encodings\cp437.py", line 12, in encode return codecs.charmap_encode(input,errors,encoding_map) UnicodeEncodeError: 'charmap' codec can't encode characters in position 0-1: cha racter maps to <undefined>

試圖通過設置設置編碼，嘗試轉換手動，基本上我覺得我嘗試了一切。

（我已經走了約5番茄試圖解決這個問題！）

我能做些什麼來讓希伯來文，應該是有：「מי אנס פוטנציאלי?」

（聲明：我只是去進入第一篇博客和文章，我注意到http://Israblog.co.il，我沒有任何關係到博客或博客所有者，我只是用它作爲例子）

Answer 1

您是否嘗試過在存儲該信息時看到的是什麼你從頁面的某個地方得到json，xml ....

我在幾個網站上遇到了一些問題，並且在大多數情況下，如果您沒有對檢索到的數據進行任何操作，但是如果您嘗試在控制檯中打印它們，您將無法獲得正確的結果，或者它會給錯誤，如果你不使用repr

print repr(data) 

我希望這有助於，因爲我知道編碼問題的挫折。

Answer 2

我該怎麼做才能讓希伯來文應該在那裏：「מיאנס פוטנציאלי？」

test.py：

# coding: utf-8 

a = u'\u05de\u05d9 \u05d0\u05e0\u05e1 \u05e4\u05d5\u05d8\u05e0\u05e6\u05d9\u05d0\u05dc\u05d9?' 
b = 'מי אנס פוטנציאלי?' 

print a 
print b 

結果：

vic@wic:~/projects/snippets$ python test.py 
מי אנס פוטנציאלי? 
מי אנס פוטנציאלי? 
vic@wic:~/projects/snippets$ 

正如你看到它們是相同的。這只是同一個unicode字符串的不同表示。所以不要擔心它沒有被正確地刮掉。

如果你想將其保存到一個文件：

Python 2.7.3 (default, Apr 20 2012, 22:39:59) 
[GCC 4.6.3] on linux2 
>>> a = u'\u05de\u05d9 \u05d0\u05e0\u05e1 \u05e4\u05d5\u05d8\u05e0\u05e6\u05d9\u05d0\u05dc\u05d9' 
>>> a 
u'\u05de\u05d9 \u05d0\u05e0\u05e1 \u05e4\u05d5\u05d8\u05e0\u05e6\u05d9\u05d0\u05dc\u05d9' 
>>> f = open('test.txt', 'w') 
>>> f.write(a) 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128) 
>>> f.write(a.encode('utf-8')) 
>>> f.close()