使用python計算rdd中的特定單詞

Question

我需要計算以rdd中的字母'A'開頭的不同單詞。

我知道數不同的單詞，但我不知道有條件的單詞。

words= myRDD.distinct().count() 
print words 

Answer 1

你將不得不做一個過濾器，通過開始字母，然後計數。類似下面：

words = myRDD.filter(lambda x: x[0] == "a").distinct().count() 

您也可以使用內置函數

myRDD.filter(lambda x: x.startswith('a'))