Python：從字符串中刪除特定字符（u「\ u2610」）

Question

我一直在用Python進行解碼和編碼，我不知道如何解決我的問題。我使用美麗的湯來解析每個文件，然後查看文件中的任何句子是否包含來自兩個不同單詞列表的一個或多個單詞，從而循環顯示用utf-8編碼的xml文本文件（sample）。因爲xml文件來自十八世紀，所以我需要保留xml中的em破折號。下面的代碼可以做到這一點，但它也保留了我希望刪除的討厭的框角色。我相信箱子的角色是this character。在這個網頁上，這個字符看起來像一個'或'管道，但是當我在Komodo中讀取xml文件時，它看起來像一個盒子，當我試圖將盒子複製並粘貼到搜索引擎中時，它看起來像一個'或'管道，但當我打印到控制檯時，該字符看起來像一個空盒子。）

總而言之，下面的代碼運行時沒有錯誤，但它會打印我想要刪除的空框字符。

for work in glob.glob(pathtofiles): 

    openfile = open(work) 
    readfile = openfile.read() 
    stringfile = str(readfile) 

    decodefile = stringfile.decode('utf-8', 'strict') #is this the dodgy line? 
    soup = BeautifulSoup(decodefile) 

    textwithtags = soup.findAll('text') 

    textwithtagsasstring = str(textwithtags) 

    #this method strips everything between anglebrackets as it should 
    textwithouttags = stripTags(textwithtagsasstring) 

    #clean text 
    nonewlines = textwithouttags.replace("\n", " ") 
    noextrawhitespace = re.sub(' +',' ', nonewlines) 

    print noextrawhitespace #the boxes appear 

我嘗試用

noboxes = noextrawhitespace.replace(u"\u2610", "") 

除去箱子但是Python中拋出一個錯誤標誌：

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 280: ordinal not in range(128) 

有誰知道我可以從XML文件中刪除的箱子？我會很感激別人可以提供的任何幫助。

Answer 1

問題是你在混合unicode和str。當你做到這一點，Python有使用sys.getdefaultencoding()，通常是ASCII，這是幾乎從來沒有你想要的一個轉換到另一個，這是不*

如果異常來源於此行：

noboxes = noextrawhitespace.replace(u"\u2610", "") 

...修復很簡單...除了您必須知道noextrawhitespace是否應該是unicode對象或UTF-8編碼str對象）。如果是前者，那就是：

noboxes = noextrawhitespace.replace(u"\u2610", u"") 

如果是後者，那就是：

noboxes = noextrawhitespace.replace(u"\u2610".encode('utf-8'), "") 

不過說真的，你必須讓所有在你的代碼相一致的字符串;將這兩者混合在一起會導致更多地方出現問題。

---

因爲我沒有你的XML文件來測試，我寫我自己：

<xml> 
    <text>abc&#9744;def</text> 
</xml> 

然後，我將這兩行代碼的底部（與位到頂部剛打開，而不是通配符無論什麼）我的文件：

noboxes = noextrawhitespace.replace(u"\u2610".encode('utf-8'), "") 
print noboxes 

現在的輸出是：

[<text>abc☐def</text>] 
[<text>abc☐def</text>] 
[<text>abcdef</text>] 

所以，我認爲這就是你想要的。

---

*當然有時你想ASCII ......但這些，當你有unicode對象...

Answer 2

試試這個：

noextrawhitespace.replace("\\u2610", "") 

我認爲你只是缺少額外的 '\'

這也可能工作。

print(noextrawhitespace.decode('unicode_escape').encode('ascii','ignore')) 

Answer 3

讀你的樣品通常不是時間，以下是文件中的非ASCII字符：

0x2223 DIVIDES 
0x2022 BULLET 
0x3009 RIGHT ANGLE BRACKET 
0x25aa BLACK SMALL SQUARE 
0x25ca LOZENGE 
0x3008 LEFT ANGLE BRACKET 
0x2014 EM DASH 
0x2026 HORIZONTAL ELLIPSIS 

\u2223是在線路3682的問題的實際的字符，它被用作一個軟連字符。其他人在標記用於標記亂碼，比如：

<GAP DESC="illegible" RESP="oxf" EXTENT="4+ letters" DISP="\u2022\u2022\u2022\u2022\u2026"/> 

下面是一些代碼做什麼你的代碼嘗試。確保以Unicode來處理：

from bs4 import BeautifulSoup 
import re 

with open('k000039.000.xml') as f: 
    soup = BeautifulSoup(f) # BS figures out the encoding 

text = u''.join(soup.strings)  # strings is a generator for just the text bits. 
text = re.sub(ur'\s+',ur' ',text) # Simplify all white space. 
text = text.replace(u'\u2223',u'') # Get rid of the DIVIDES character. 
print text 

輸出：

[[truncated]] reckon my self a Bridegroom too. Buckle. I doubt Kickey won't find him such. [Aside.] Mrs. Sago. Well,—poor Keckky's bound to good Behaviour, or she had lost quite her Puddy's Favour. Shall I for this repine at Fortune?—No. I'm glad at Heart that I'm forgiven so. Some Neighbours Wives have but too lately shown, When Spouse had left 'em all their Friends were flown. Then all you Wives that wou'd avoid my Fate. Remain contented with your present State FINIS.