sparkR流媒體？

Question

我一直在Scala中使用Spark。我現在正在研究pySpark和SparkR。我沒有看到爲PySpark和SparkR提到的流式傳輸。是否有人知道在使用Python和R時是否可以使用Spark流？

Answer 1

Spark現在支持1.3中的pySpark流媒體。並且可以在https://github.com/hlin09/spark/tree/SparkR-streaming中找到SparkR流的實現。

Answer 2

目前（自Spark 1.1起），Spark Streaming僅在Scala & Java中受支持。如果您想要使用特定的R程序或Python程序，則可以查看RDD上的管道接口以及DStream上的轉換函數。這有點尷尬，但它可能是目前在Spark Streaming中使用Python或R代碼最簡單的方法。

Answer 3

sparkR流不可用，直到最新版本的Apache 2.1.1火花

但我們可以用sparkR流從GitHub使用MVN

https://github.com/hlin09/spark/tree/SparkR-streaming

構建火花，那麼你就可能把做sparkR流媒體。