flink-streaming

0熱度

2回答

我想創建一個Trigger，它在20秒內第一次觸發並且在此後每隔5秒觸發一次。我已經使用GlobalWindows和一個自定義Trigger val windowedStream = valueStream .keyBy(0) .window(GlobalWindows.create()) .trigger(TradeTrigger

3熱度

1回答

使用Apache Flink，我如何按時加入zip兩個流？

我有兩條流。它們都是在1小時窗口內彙總的數據。我想壓縮這些流，以便在相同的時間範圍內進行聚合，如果現在存在這樣的相對匹配，可能會使用空值。 DataStream<OneHourAggA> one = sourceA .keyBy(d -> (String) d.values.get("m")) .timeWindow(Time.hours(1)) .a

2熱度

2回答

如何將來自Google Dataflow（Apache Beam）的Flink跑道上的消息發送到Kafka

我正試圖寫一個概念證明，它從Kafka獲取消息，在Flink上使用Beam轉換它們，然後將結果推送到一個不同的卡夫卡話題。我已經使用KafkaWindowedWordCountExample作爲起點，這是做我想做的第一部分，但它輸出到文本文件，而不是卡夫卡。 FlinkKafkaProducer08看起來很有前途，但我無法弄清楚如何將其插入管道。我一直在想它會被一個UnboundedFlinkS

0熱度

1回答

不能解析符號ValueState

我試圖使用弗林克-流狀態的後端，這個指南：https://ci.apache.org/projects/flink/flink-docs-master/apis/streaming/state.html，但我得到的錯誤：無法解析符號「ValueState」。看了一下之後，我意識到ValueState不在我的依賴關係中。相反，只有運營商位於org.apache.flink.api.common.s

4熱度

2回答

從Apache Flink查詢數據

我期待從本地流式服務器遷移到Apache Flink。我們擁有的一件事就是像Apache一樣的DRM界面，以針對處理拓撲中保存的狀態運行查詢。例如：我有一堆傳感器，我正在運行一個移動平均值。我想在拓撲上運行查詢，並返回所有平均值高於固定值的傳感器。在Flink中是否存在等價物，或者如果不存在，實現等效功能的最佳方法是什麼？

1熱度

1回答

如何爲每個任務管理器（或每個節點）運行一個源？

我已經實現了打開固定UDP端口並偵聽它的源代碼。所以，我想每個任務管理器只運行一個源代碼（在我的情況下，我爲每個節點運行一個任務管理器），因爲會拋出異常的java.net.BindException: Address already in use異常。當測試Apache Flink的HA時，我注意到了這個問題。當我關閉一個任務管理器時，Apache Flick開始嘗試在一個節點上運行具有相同端口

4熱度

1回答

弗林克表API無法數據集轉換的數據流中

我使用Java，我想數據集轉換的數據流中使用弗林克表API ....以下是我的代碼： TableEnvironment tableEnvironment=new TableEnvironment(); Table tab1=table.where("related_value < 2014").select("related_value,ref_id"); DataSet<MyClass>ds

1熱度

1回答

爲什麼Flink SocketTextStreamWordCount不工作？

我已經設置了示例項目並構建它。我能夠按預期運行WordCount程序。但是當我運行SocketTextWordCount時，我沒有得到任何打印結果。我通過NC發送數據（本地主機：9999兩側）在正在運行的作業Web控制檯，我可以看到有發送郵件/接收但即使殺死了nc會話，我也從不會在任何地方看到counts.print（）輸出。編輯 - 當我改變它將結果打印到文本文件時，沒有問題。所以問題似

0熱度

1回答

Flink在流數據上的全局聚合

我目前正在編寫一個使用Flink 1.0的聚合用例，作爲用例的一部分，我需要獲得最近10分鐘內記錄的api的數量。這個我可以很容易地使用keyBy（「api」），然後應用10分鐘窗口和doe sum（count）操作。但問題是，我的數據會出來的順序，所以我需要一些方法來獲得跨越10分鐘窗口的API的次數.. 例如：如果相同的API日誌也有兩個不同的窗口，我應該得到一個全局計數，即2，而不是兩個

1熱度

1回答

阿帕奇弗林克進口Scala的API擴展流

我試圖導入的Apache弗林克斯卡拉API流擴展，如https://ci.apache.org/projects/flink/flink-docs-master/apis/scala_api_extensions.html 但是，我ScalaIDE以下消息抱怨解釋說：對象擴展是不是成員包org.apache.flink.streaming.api.scala 我使用的是scala 2.11和Fl