Apache Flink作業支持多流支持

關於Apache Flink框架的問題。Apache Flink作業支持多流支持

有沒有什麼辦法可以在單個flink工作中支持像kafka和twitter這樣的多個流源？有沒有什麼可以解決的問題。我們可以在單一鏈接工作中同時處理多個流媒體資源嗎？

我目前在Spark Streaming工作，這是限制。

這是否可以通過Apache Samza，Storm或NIFI等其他流式框架實現？

回覆期待已久。

來源

2016-11-06 Sadaf

是的，這是可能的弗林克和風暴（沒有關於Samza或NIFI線索...）

，只要你想你可以添加儘可能多的源運營商和每個人都可以從不同的來源消耗。

StreamExecutionEnvironment see = StreamExecutionEnvironment.getExecutionEnvironment(); 

Properties properties = ... // see Flink webpage for more details  

DataStream<String> stream1 = env.addSource(new FlinkKafkaConsumer08<>("topic", new SimpleStringSchema(), properties);) 
DataStream<String> stream2 = env.readTextFile("/tmp/myFile.txt"); 

DataStream<String> allStreams = stream1.union(stream2);

對於使用低級API的Storm，模式類似。請參閱An Apache Storm bolt receive multiple input tuples from different spout/bolt

來源

2016-11-07 03:40:00

Right.Thanks for the answer。我們可以在spark項目中添加這個flink接收器嗎？是否有任何中間件通過apache spark加入flink streaming？ – Sadaf

我從未使用Spark。沒有線索。此外，我不知道有任何中間件將Flink和Spark結合在一起 - 我想知道爲什麼你想在第一時間做到這一點...... –

其實我正在開發Spark項目。但是我不能使用Spark Streams在單個作業中傳輸來自多個流源的數據。所以我想用flink來解決這個問題。並真正知道如何加入這兩者。 – Sadaf

Apache Flink作業支持多流支持

回答

相關問題