如何在Spark中使用TCP套接字發送數據Spark結構化數據流

Question

我想使用TCP套接字創建和發送數據，以便我可以將它用作Spark結構化數據流的數據流源。我正在使用Windows操作系統。我嘗試使用膩子SSH到我的本地主機，但這是要求登錄名和密碼，我不知道該給什麼。

任何人都可以請幫我實現這一點。 在此先感謝！

Answer 1

在這裏，我得到了我的答案。只需按照以下步驟操作： 1-從here安裝netcat 2-在下載netcat後，轉到安裝的netcat目錄並在cmd中打開它。 3-現在運行：NC -l -p [YourPortNumber] 4-現在運行以下星火結構化數據流代碼

val df = spark 
     .readStream 
     .format("socket") 
     .option("host", "your host") 
     .option("port", "your port") 
     .load() 

df.selectExpr("CAST(value AS STRING)") 
    .writeStream 
    .format("console") 
    .option("truncate", "false") 
    .start() 
    .awaitTermination() 

5現在開始在你的插座是聽CMD窗口中輸入您的數據。

如果您想檢查您的端口是否正在偵聽提到的端口號。進入cmd窗口，然後輸入：

的telnet yourhost yourport

，並輸入。現在開始輸入數據，看看數據是否收到您正在收聽端口的前置cmd窗口