轉換自PCollection <TableRow>到PCollection <KV<K,V>>

Question

我想從BigQuery中的2個表中提取數據，然後通過CoGroupByKey加入它。 儘管BigQuery的輸出爲PCollection<TableRow>,CoGroupByKey要求PCollection<KV<K,V>>。 如何將PCollection<TableRow>轉換爲PCollection<KV<K,V>>？

Answer 1

CoGroupByKey需要知道哪些關鍵CoGroup通過 - 這是KV<K, V>的K和V是與此集合在這個鍵關聯的值。對幾個集合進行共同分組的結果會爲每個集合中的每個關鍵字提供此關鍵字的所有值。

因此，您需要將PCollection<TableRow>轉換爲PCollection<KV<YourKey, TableRow>>，其中YourKey是您想要連接它們的鍵的類型，例如，在你的情況下，也許它可能是String或Integer，或其他東西。

進行轉換的最佳轉換大概是WithKeys。例如。這裏有一個示例代碼轉換PCollection<TableRow>由String類型的假想userId場鍵控PCollection<KV<String, TableRow>>：

PCollection<TableRow> rows = ...; 
PCollection<KV<String, TableRow>> rowsKeyedByUser = rows 
    .apply(WithKeys.of(new SerializableFunction<TableRow, String>() { 
    @Override 
    public String apply(TableRow row) { 
    return (String)row.get("userId"); 
    } 
}));