替換/轉換rdd的元素

Question

我是Apache spark的新手，我有一個問題。

如果一個rdd的元素是rdd=[0.0, 1.49, 2.48, 2.72, 2.45]，我該如何轉換這個rdd，使得所有小於2的值都被轉換爲-1並且被置爲0？ 即rdd_transformed=[-1,-1,0,0,0]

我嘗試了以下，但我擔心我沒有得到正確的語法。

b=2 
rdd.map(lambda a: (a,b)).reduce(lambda a,b: -1 if (a<b) else 0) 

Answer 1

要回答你的問題（希望），你可以試試：

rdd.map(lambda a: -1 if a < 2 else 0)