從熊貓系列中刪除少於4個字符的單詞

Question

我正嘗試從熊貓系列中的每個標量值中移除少於4個字符的所有單詞。什麼是最好的方式來做到這一點？這裏是我的失敗嘗試：

df['text'] = df['text'].str.join(word for word in df['text'].str.split() if len(word)>3) 

我收到以下錯誤信息：

AttributeError: 'generator' object has no attribute 'join'

我根據我嘗試過關於一個字符串，則這個帖子：Remove small words using Python

附註：如果在刪除少於4個字符之前更好地標記我的單詞，請讓我知道。

編輯：每個標量值包含句子，所以我想刪除任何單詞長度小於4的值。

Answer 1

使用正則表達式似乎是最快的：

df['text'].str.findall('\w{4,}').str.join(' ') 

時序

使用以下設置：

df = pd.DataFrame({'text':["The quick brown fox", "jumped over the lazy dog", "foo bar baz", 'words exceeding desired length']}) 
df = pd.concat([df]*10**4, ignore_index=True) 

def pir2(df): 
    t = df.text.str.split(expand=True).stack() 
    return t.loc[t.str.len() >= 4].groupby(level=0).apply(' '.join) 

我得到以下計時：

%timeit df['text'].str.findall('\w{4,}').str.join(' ') 
10 loops, best of 3: 44.8 ms per loop 

%timeit df.text.apply(lambda i: ' '.join(filter(lambda j: len(j) > 3, i.split()))) 
10 loops, best of 3: 79.3 ms per loop 

%timeit df['text'].str.split().map(lambda sl: " ".join(s for s in sl if len(s) > 3)) 
10 loops, best of 3: 87.2 ms per loop 

%timeit pir2(df) 
1 loop, best of 3: 2.87 s per loop 

Answer 2

你可以做這樣的事情：

>>> df = pd.DataFrame({'text':["The quick brown fox", "jumped over the lazy dog"]}) 
>>> df 
         text 
0  The quick brown fox 
1 jumped over the lazy dog 
>>> df['text'].str.split().map(lambda sl: " ".join(s for s in sl if len(s) > 3)) 
0   quick brown 
1 jumped over lazy 
Name: text, dtype: object 

但說實話，我平時堅持香草蟒蛇文本處理流水線。 pandas數據結構在文本中播放不好。至少，你正在失去內存/速度優勢numpy/pandas。

Answer 3

嘗試

df.test.apply(lambda i: ' '.join(filter(lambda j: len(j) > 3, i.split())))

Answer 4

考慮@ juanpa.arrivillaga的dataframedf

df = pd.DataFrame({'text':["The quick brown fox", "jumped over the lazy dog"]}) 

與.str.findall和然後我們就可以

t = df.text.str.split(expand=True).stack() 
t.loc[t.str.len() >= 4].groupby(level=0).apply(' '.join) 

0   quick brown 
1 jumped over lazy 
dtype: object