弗林克：默認分區/改組策略/函數

Question

哪些策略（散列，排序）不弗林克使用默認減少數據集/分組（例如GROUPBY或減少功能）？並且API函數不弗林克在洗牌步驟用於

1. 分區和
2. 排序分區

默認內的元素？

Answer 1

默認情況下，Flink使用散列分區和排序來執行reduce和groupReduce函數。在減少或可組合的情況下，組合器也使用基於分類的策略來執行。基於哈希的組合策略目前正在進行代碼審查，並將很快推出。 請注意，Flink默認使用流水線shuffle。這意味着生成發送者任務和接收者分類器同時執行。

你可以這樣劃分方式不同的數據集：

val data: DataSet[(String, Int)] = ... 
data.partitionByHash(0) // hash-partitions on String field 
data.partitionByRange(1) // range-partitions on Int field (w/ online sampling overhead) 
data.partitionCustom(new MyPartitioner(), 0) // use a custom function to partition on String field 

如下您可以在本地進行排序分區：

val data: DataSet[(String, Int)] = ... 
data.sortPartition(0, Order.ASCENDING) // sorts partitions on String field in ascending order