Spark - 集羣中內置的rdd.count（）函數是否可靠？

Question

我目前正在編寫一個簡單的使用rdd.count（）函數的spark腳本，當我測試它在本地運行時它效果很好。

當我將代碼部署到多機羣集時，它會繼續工作還是該功能易受分佈式計算問題的影響？

Answer 1

它就像一個MapReduce wordcount ...它分佈的數據分區，並總結數字。

因此，要回答這個問題，它應該在分佈式環境中工作得很好。