Python：返回2000個文本列表中的字數

Question

我幾乎可以肯定，我忽略了一些非常明顯的東西，所以我問這個問題，希望能夠感到尷尬：我有一個pandas數據框，其中有2000多個文本一列。我最初的目標是，並且仍然是計算每個文本中的單詞，並在該單詞數量的數據框中創建一個新列。

在努力簡化問題，我拿出文本列到使用字符串列表如下：

texts = data.text.tolist() 

類型是list和列表的len是2113，這是數據幀中的行數。我目前的努力是：

word_counts = [] 
for text in texts: 
    count = len(re.findall(r"[a-zA-Z_]+", text)) 
    word_counts.append(count) 

對於我收到：TypeError: expected string or buffer。

如果我運行一個單獨的文本的評價：

len(re.findall(r"[a-zA-Z_]+", texts[0])) 

我得到預期的結果：2176

什麼我沒有看到？

編輯添加樣品：

texts[0].split()[:10] 

['Thank', 'you', 'so', 'much', 'Chris.', 'And', 
"it's", 'truly', 'a', 'great'] 

這些都是會談的成績單，所以一些標點符號，也許是幾號。

Answer 1

您可以創建一個函數來返回每個字符串的len，並將該函數應用於包含字符串的pd.Series。

data = pd.DataFrame(
    {'text': ["This is-four words.", "This is five whole words."]}) 
data 
# text 
# 0 This is-four words. 
# 1 This is five whole words. 

def count_words(cell): 
    try: 
     return len(re.findall(r"[a-zA-Z_]+", cell)) 
    except AttributeError: 
     return cell 

data['word_count'] = data['text'].apply(count_words) 
data 

# text      word_count 
# 0 This is-four words.   4 
# 1 This is five whole words. 5 

但是，如果你知道，在每個文本的文字，只有空白（即不通過下劃線或破折號）分離，然後我會推薦這個方法：

def count_words2(cell): 
    try: 
     return len(cell.split()) 
    except TypeError: 
     return cell 

count_words3 = lambda x: len(str(x).split()) 

它比使用正則表達式要快得多。在Jupyter筆記本：

test_str = "test " * 1000 
%timeit count_words(test_str) 
%timeit count_words2(test_str) 
%timeit count_words3(test_str) 
# 10000 loops, best of 3: 158 µs per loop 
# 10000 loops, best of 3: 29.8 µs per loop 
# 10000 loops, best of 3: 28.7 µs per loop 

Answer 2

我認爲，你不必使用正則表達式，並不需要輸出值列表。您可以嘗試使用lambda函數：

df = pd.DataFrame({'col1': ['Hello world', 'Hello, there world', 'Hello']}) 
     col1 
0  Hello world 
1 Hello there world 
2    Hello 

然後，你可以只使用一個lambda功能。

df['count'] = df['col1'].apply(lambda x: len(str(x).split())) 
     col1   count 
0  Hello world  2 
1 Hello there world  3 
2    Hello  1 

或者，如果你想使用regex，你仍然可以使用lambda功能：

df['count'] = df['col1'].apply(lambda x: len(re.findall(r"[a-zA-Z_]+", x))) 
col1   count 
    0  Hello world  2 
    1 Hello there world  3 
    2    Hello  1