Spark中的ReduceByKey和CombineByKey之間的區別

Question

當涉及到Spark中的性能時，ReduceByKey和CombineByKey之間是否有區別？任何對此的幫助表示讚賞。

Answer 1

按鍵減少內部調用combineBykey。因此任務執行的基本方式對於兩者都是相同的。

CombiningByKey over reduceBykey的選擇是當輸入Type和輸出Type不期望相同時。所以combineByKey會將一種類型轉換爲另一種類型的額外開銷。

如果省略了類型轉換，則完全沒有區別。

請按照下面的鏈接

http://bytepadding.com/big-data/spark/reducebykey-vs-combinebykey

http://bytepadding.com/big-data/spark/groupby-vs-reducebykey

http://bytepadding.com/big-data/spark/combine-by-key-to-find-max