星火羣組rdd由配對RDD上的鑰匙和羣組組成，並從每個羣組中挑選最新的

Question

Spark和Scala的新手。試圖達到以下。我的消息看起來像以下（鑰匙，ID，版本，dataObject時）

val transformedRDD = processedMessages.flatMap(message => { 
    message.isProcessed match { 
     case true => Some(message.key, message.id, message.version, message) 
     case false => None 
    } 
    }).groupByKey 

我想組由ID對每個消息並獲得最新版本的消息，然後groupbykey，然後調用它看起來像下面

預定方法

Ingest(key,RDD[dataObject]) 

Answer 1

在大多數情況下，您應該避免groupByKey，因爲它可能導致重新洗牌，這可能非常昂貴。在您的使用案例中，您不需要groupByKey，而是可以使用reduceByKey。

val transformedRDD = processedMessages 
    // notice that we will have Rdd[(String, Message)] or PairRdd after this flatMap 
    .flatMap(message => message.isProcessed match { 
    case true => Some((message.id, message)) 
    case false => None 
    }) 
    // after this reduction we will have latest message for each id 
    .reduceByKey((m1: Message, m2: Message) => m1.version >= m2.version match { 
    case true => m1 
    case false => m2 
    }) 
    // now we just want to keep message 
    .map({ case (id, message) => message })