火花流stdin輸入/從unix實用程序輸出讀取

Question

我試圖構建一個Spark Streaming應用程序讀取unix實用程序的輸出流。從stdin創建DStream的最佳方式是什麼？如何將外部工具的流輸出重定向/管道到Spark Streaming DStream？我和Scala一起工作，並且我意識到rdd.pipe（）可能沒有幫助，因爲它可以與首先從rdd讀取的命令一起使用。謝謝！

我原來的問題被張貼到星火用戶的郵件列表：http://apache-spark-user-list.1001560.n3.nabble.com/Spark-Streaming-reads-from-stdin-or-output-from-command-line-utility-td23289.html

Answer 1

可以在Linux下使用的netcat命令.Pipe程序輸出到netcat的。

./your-executable | nc -l <portnumber>

然後你就可以創建DSTREAM使用相同的端口號

ssc.socketTextStream(cassandraHost, portNum)