2
是否有可能從Logstash或Elasticsearch接收日誌的實時輸入流到Spark Streaming?Logstash或Elasticsearch與Apache Spark流的集成
我看到有一個內置的Flume接收器。但是任何現有的Logstash或Elasticsearch自定義接收器?
是否有可能從Logstash或Elasticsearch接收日誌的實時輸入流到Spark Streaming?Logstash或Elasticsearch與Apache Spark流的集成
我看到有一個內置的Flume接收器。但是任何現有的Logstash或Elasticsearch自定義接收器?
可能是最好的解決方案目前似乎是使用logstash輸出插件卡夫卡,然後用火花卡夫卡接收機
http://spark.apache.org/docs/latest/streaming-kafka-integration.html
從https://www.elastic.co/guide讀卡夫卡的話題/en/logstash/current/output-plugins.html,沒有輸出插件可以觸發。但是logstash-> kafka-> spark是可能的。你也可以編寫你自己的插件。但我很好奇,爲什麼不使用水槽? – BAE
簡單的原因實際上是我比Log更喜歡Flume – DarVar