flink-streaming

1熱度

2回答

更新添加 env.getConfig().setAutoWatermarkInterval(1000L); 沒有解決問題。我想問題在於我的代碼的另一部分。所以首先多一點背景。該程序使用來自單個卡夫卡隊列的混合消息類型的JSON流。該程序最初轉換成類型爲ObjectNode的流。然後使用.split()將這個數據流拆分爲10個左右的流。這些流被映射到POJO流。然後，在被添加到窗口之前，這些

0熱度

1回答

基於第三個事件鏈接Flink中的兩個事件

如果兩個事件流入Flink，它們是否可以使用第三個事件中的信息進行邏輯連接（使用DataStream API或CEP）？例如，以下示例中的第三個事件是否可用於根據其right_id和left_id鏈接前兩個事件？ ID: AAAA ID: BBBB ID: ZZZZ, right_id: AAAA, left_id: BBBB

1熱度

1回答

滑動處理時間窗口計算不一致的結果

在Flink中，我正在使用readTextFile讀取文件並將60毫秒的SlidingProcessingTimeWindows.of(Time.milliseconds(60), Time.milliseconds(60))應用於滑動60毫秒。在窗口流上，我正在計算元組的第二個字段的均值。我的文本文件包含1100行，每行都是元組（String，Integer）。我已將並行性設置爲1，並在元組的第

1熱度

1回答

Flink-CEP使用hashCode並等於

如果模式定義僅具有屬性級別比較，Flink-CEP是否使用hashCode()和equals()進行比較？我在問，因爲我無法保證hashCode()的正確性。

0熱度

1回答

Flink錯誤：java.lang.ClassNotFoundException：org.apache.flink.shaded.calcite.com.gall.common.base.Throwables

我正在使用Flink來傳輸csv文件中的數據。我想用特定的模式將它放到表格格式中。爲此我使用弗林克-table_2.10-1.1.3.jar（表API），但我得到了錯誤： log4j:WARN No appenders could be found for logger (org.apache.flink.api.java.typeutils.TypeExtractor). log4j:WARN

0熱度

1回答

使用Scala

我試圖從https://ci.apache.org/projects/flink/flink-docs-release-1.2/quickstart/run_example_quickstart.html 從教程重寫阿帕奇弗林克教程Scala的維基百科編輯流分析代碼的Apache弗林克維基百科的編輯分析是 import org.apache.flink.api.common.functions.F

2熱度

1回答

Apache Flink AWS S3 Sink是否需要Hadoop進行本地測試？

我對Apache Flink相對來說比較新，我正在嘗試創建一個生成AWS S3存儲桶文件的簡單項目。基於文檔，它看起來像我需要安裝Hadoop才能執行此操作。如何設置我的本地環境以允許測試此功能？我已經在本地安裝了Apache Flink和Hadoop。我已經爲Hadoop的core-site.xml配置添加了必要的更改，並且還將我的HADOOP_CONF路徑添加到了我的flink.yaml配置

0熱度

1回答

弗林克：Trigger.onElement工作

我對數據流做功能， DataStream<Tuple4<String,String,Double,Double>> price_warning=datastream_in .flatMap(new Splitter())// transformation flatmap .keyBy(2) .window(SlidingProcessingTimeWindows.of(Time.seconds(1

1熱度

3回答

以Kafka作爲源閃爍

我正嘗試從Flink流中的kafka主題讀取數據。我試圖運行下面的示例代碼，是有作爲頁APACHE弗林克1.1.3文檔的例子：Apache的卡夫卡連接器， import java.util.Properties; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.ap

0熱度

1回答

Flink發射事件當找不到匹配的事件對時

我有兩個事件流：一個發出一個事件來指示一個項目的生命週期的開始，另一個流發出一個事件來指示一個項目的生命週期結束。（視頻流可上itemId加入。）我怎麼能發出在弗林克每個itemId1該只有有一個事件「壽命終點」的新事件，並沒有相應的開始？（這些開始和結束事件可能相隔幾小時或幾天。）