幾個條件過濾阿帕奇星火

Question

我需要檢查一些條件，讓我過濾我RDD這樣：

scala> file.filter(r => r(38)=="0").filter(r => r(2)=="0").filter(r => r(3)=="0").count 

它是正確的爲「& &」的方法嗎？

Answer 1

是的，一系列的過濾器在語義上相當於一個過濾器&&你的情況。

file.filter(r => r(38) == "0" && r(2) == "0" && r(3) == "0")

然而，上面的變體是保證比以前的版本快。這可以通過以下方式確定：

1. &&是短路操作，和下一個比較發生僅當第一個計算結果爲true。在這兩種情況下的比較數將是相同的（是！）。

2. 多重過濾器版本涉及RDD的三次通過與單次過濾器的一次通過，其中&&。