火花python產品文件的前5個數字

Question

總noobob問題。我有一個文件，每行包含一個數字，大約有5百萬行，每行有不同的數字，我如何使用spark和python找到文件中的前5個值。

Answer 1

1. 您分發您在節點間讀取的數據。
2. 每個節點發現它是5個局部最大值。
3. 您將所有的當地最大值組合起來，並保留其中最大的5個，即 這就是答案。