如何從socketTextStream獲取字符串格式的記錄

Question

我想從套接字流中獲取每條記錄。我希望記錄是來自行的字符串數據類型。如何在python中編寫代碼？謝謝！

模型= pipeline.PipelineModel.read（）。負載（model_path）

SC = spark.sparkContext SSC =的StreamingContext（SC，1）

線= ssc.socketTextStream（sys.argv中[ 1]，INT（sys.argv中[2]））

如果（線不是無）： lines.foreachRDD（拉姆達RDD：rdd.foreach（processRecord））

DEF processRecord（記錄）：

print("test") 
... 

Answer 1

from __future__ import print_function 
import sys 
from pyspark import SparkContext 
from pyspark.streaming import StreamingContext 


if __name__ == "__main__": 
    sc = SparkContext(appName="Demo") 
    ssc = StreamingContext(sc, 1) 

    #record = ssc.socketTextStream("localhost", 9999) 
    record = ssc.socketTextStream(sys.argv[1], int(sys.argv[2])) 
    # print out each single word 
    record.flatMap(lambda line: line.split(" ")).pprint() 

    # start streaming 
    ssc.start() 
    # stop when the socket we are listening is dead 
    ssc.awaitTermination() 

謝謝。