使用Python分割運行文本中的單詞？

Question

我正在寫一段代碼，它將從正在運行的文本中提取單詞。這個文本可以包含\ r，\ n等分隔符，這些分隔符可能在文本中。

我想丟棄所有這些分隔符，只提取完整的單詞。我如何用Python做到這一點？任何可用於在python中處理文本的庫？

Answer 1

假設你的「字」的定義與正則表達式模塊（re）的同意，也就是說，字母，數字和下劃線，很容易：

import re 
fullwords = re.findall(r'\w+', thetext) 

其中thetext是有問題的字符串（例如，來自文件對象f的f.read()開放閱讀，如果這是你從中獲取文本的地方）。

如果你以不同的方式定義單詞（例如，你想包含撇號，例如「它的」將被視爲「一個單詞」），它並不難 - 僅僅用作第一個參數findall適當的模式，例如r"[\w']+"爲撇號情況。

如果你需要非常，非常複雜（例如，處理使用的單詞之間沒有中斷語言），那麼問題突然變得更難，你會需要一些第三方包狀nltk。

Answer 2

假設你的分隔符是空白字符（空格等\r和\n），則基本str.split()你想要做什麼：

>>> "asdf\nfoo\r\nbar too\tbaz".split() 
['asdf', 'foo', 'bar', 'too', 'baz']