正則表達式模式的縮寫和標點符號

Question

我有一個段落，我想通過從單詞中分離標點符號來標記它，並打印結果。有一些特殊情況（縮寫，如美國&，如彼得的撇號，以及十進制數字）應附加在信件上，不要將它們分開。

我運行下面的代碼：

import re 

text = "My weight is about 68 kg, +/- 10 grams! I live in U.S.A. at Mr. 
Peter's house! 3,500 calorie rule, which equates a weight alteration 
of 2.2 lb" 

pattern = r"""(?:[A-Z]\.)+ |\d+(?:\.\d+)?%?|\w/.+$\s-|\w+(?:[-']\w+)*| 
(?:[+/\-@&*]|/.$/)""" 

print (re.findall(pattern, text)) 

輸出：

['My', 'weight', 'is', 'about', '68', 'kg', '+', '/', '-', '10', 
'grams', 'I', 'live', 'in', 'U.S.A. ', 'at', 'Mr', "Peter's", 'house', 
'3', '500', 'calorie', 'rule', 'which', 'equates', 'a', 'weight', 
'alteration', 'of', '2.2', 'lb' 
] 

有一些錯誤與此代碼，我真的很需要幫助解決這些問題：

1. 它刪除所有的標點符號！我想保留它們，但是與單詞分離。

2. 該模式忽略數字包含（，）並將其刪除。我已將\d+(?:\,\d+)?%?添加到該模式，但無法正常工作。

3. 模式也忽略了一些縮寫，如Mr.

您的幫助將是非常讚賞！

Answer 1

我會建議你避免試圖用正則表達式來做這件事，並使用一個專爲工作而設計的工具。下面應處理U.S.A.也Peter's：

from nltk.tokenize import WhitespaceTokenizer, word_tokenize 

text = "My weight is about 68 kg, +/- 10 grams! I live in U.S.A. at Mr. Peter's house! 3,500 calorie rule, which equates a weight alteration of 2.2 lb" 

print WhitespaceTokenizer().tokenize(text) 
print word_tokenize(text) 

這會給你以下可能性：

['My', 'weight', 'is', 'about', '68', 'kg,', '+/-', '10', 'grams!', 'I', 'live', 'in', 'U.S.A.', 'at', 'Mr.', "Peter's", 'house!', '3,500', 'calorie', 'rule,', 'which', 'equates', 'a', 'weight', 'alteration', 'of', '2.2', 'lb'] 
['My', 'weight', 'is', 'about', '68', 'kg', ',', '+/-', '10', 'grams', '!', 'I', 'live', 'in', 'U.S.A.', 'at', 'Mr.', 'Peter', "'s", 'house', '!', '3,500', 'calorie', 'rule', ',', 'which', 'equates', 'a', 'weight', 'alteration', 'of', '2.2', 'lb'] 

Answer 2

如果你不打算用完全成熟的自然語言處理工具的工作，我建議你使用一個更簡單的模式並計劃一些post解析清理。試圖解決模式匹配中的一切都很棘手，並且可能會隨着新語法元素的引入而繼續失敗。這就是說，這裏有一個簡單的模式方法，我相信處理了大部分，有關你的例外：

import re 

text = "My weight is about 68 kg, +/- 10 grams! I live in U.S.A. at Mr. Peter's house! 3,500 calorie rule, which equates a weight alteration of 2.2 lb" 

pattern = r"(\s+|(?:[A-Z']\.?)+)" 

tokens = [token for token in re.split(pattern, text, flags=re.I) if token and not token.isspace()] 

print(tokens) 

輸出

['My', 'weight', 'is', 'about', '68', 'kg', ',', '+/-', '10', 'grams', 
'!', 'I', 'live', 'in', 'U.S.A.', 'at', 'Mr.', "Peter's", 'house', '!', 
'3,500', 'calorie', 'rule', ',', 'which', 'equates', 'a', 'weight', 
'alteration', 'of', '2.2', 'lb'] 

不是re.findall()，我使用re.split()與模式保持隔離令牌在字符串中（即我們分開單詞）。隨着新的例外情況出現，評估是否值得使模式複雜化，或者是否可以在解析前或解析後處理它們。