sortByKey不適用於Dstream

Question

我正在使用Dstream（Spark Streaming）的Transform API對數據進行排序。 我正在使用netcat從TCP套接字讀取數據。 繼使用的代碼行： myDStream.transform（rdd => rdd.sortByKey（））

無法找到函數sortByKey。任何人都可以請幫助這一步中的問題是什麼？

Answer 1

如果您使用netcat作爲輸入，您可能會使用socketTextStream，它返回ReceiverInputDStream[String]。在這種情況下transform將採取功能：

(RDD[String]) => RDD[U] 

只有RDD[(T, U)]，其中T有相應Orderign可以sortedByKey。其他RDD你可以使用sortBy：

myDSTream.transform(rdd => rdd.sortBy(x => x))