Spark訂閱ActiveMQ或Mosquitto MQTT經紀人

Question

我想訂閱Spark到ActiveMQ或Mosquitto MQTT經紀人。我怎樣才能做到這一點？

Answer 1

There's a pull request將一個MQTT輸入源添加到Spark Streaming中。我們現在決定不接受這個PR（我們想在支持它之前判斷對MQTT的需求），但是您應該能夠獲得該PR的代碼並將其放入您自己的包中。

此外，請查閱Spark Streaming Custom Receivers指南瞭解編寫自定義輸入接收器的信息。

Answer 2

更近的拉請求與代碼Apache孵化器火花庫MQTT適配器星火流在這裏https://github.com/apache/incubator-spark/pull/64

Answer 3

您可以編寫自定義的火花流receiver.Which允許你從任何來源讀取