apache-flink

0熱度

1回答

問題陳述：試圖評估的Apache弗林克建模先進的實時低延遲分佈分析使用案例摘要：的儀器I1提供複雜的分析，I2 ，I3 ...等各有產品定義P1，P2，P3;配置用戶參數（動態）U1，U2，U3 &需要流媒體市場數據M1，M2，M3 ... 儀器分析功能（A1，A2）在計算複雜性方面複雜，其中一些可能需要300-400ms但可以並行計算。從上面清楚地看到，市場數據流將比分析功能&需要消耗最

1熱度

1回答

Flink Table API＆SQL和地圖類型（Scala）

我在使用Flink的Table API和/或Flink的SQL支持（Flink 1.3.1，Scala 2.11）在streaming環境中。我開始用DataStream[Person]和Person是一個案例類，看起來像： Person(name: String, age: Int, attributes: Map[String, String]) 所有工作正常，直到我開始把attribut

0熱度

1回答

Flink中名爲「conf/masters」的文件的用法是什麼？

因爲我們可以通過「flink-conf.yaml」中的「jobmanager.rpc.address」指定一個主文件，所以名爲「conf/masters」的文件的用法是什麼？

1熱度

1回答

兩個Streams之間的Flink Scala連接似乎不起作用

我想加入來自Kafka生產者的兩個流（json）。如果我篩選數據，代碼將起作用。但是當我加入他們時似乎不起作用。我想打印到控制檯的聯合流，但沒有出現。這是我的代碼 import java.util.Properties import org.apache.flink.streaming.api.scala._ import org.apache.flink.streaming.connec

1熱度

1回答

尋找替代形式的windowAll（），使數據保持在同一個節點進行聚合

我有一個高度並行化的聚合，有很多我在多個節點上運行的密鑰。我則想要做跨類似於下面的代碼的所有值的彙總聚合： val myStream = sourceStream .keyBy(0) .window(TumblingProcessingTimeWindows.of(Time.minutes(5))) .reduce(_ + _) .addSink(ne

0熱度

1回答

如何使用Apache Flink分析事件序列以觸發操作？

我想根據分析實時與Apache弗林克事件流和觸發動作：事件窗口，在特定事件發生（「如果事件A和事件B發生在30秒內 - >觸發動作「）事件序列，其中特定事件發生（」如果事件B和事件後事件A發生ç事件B發生後 - >觸發動作「）的兩個我知道組合flink有能力獲勝通過stream.windowAll(...)下降，但我不確定如何反映事件序列。怎樣才能實現這樣的事件序列檢測？

0熱度

3回答

Flink如何使用來自多個分區的卡夫卡主題的消息，而不會產生偏斜？

假設我們爲一個主題設置了3個卡夫卡分區，並且希望使用事件時間按小時對事件進行窗口化。 kafka使用者在當前窗口之外時是否停止從分區讀取數據？或者它打開一個新窗口？如果它打開新窗口，那麼如果一個分區的事件時間與其他事件時間相比是非常歪斜的，那麼理論上可能會打開無限量的窗口並因此耗盡內存？當我們重放一些歷史時，這種情況尤其是可能的。我一直在試圖從閱讀文檔中得到這個答案，但在分區上找不到有關Flin

0熱度

1回答

用於增量數據的Flink或Spark

我對Flink或Spark沒有任何經驗，並且我想將其中的一個用於我的用例。我想介紹一下我的使用案例，希望能夠了解一下這兩者是否可以完成，如果他們都可以這樣做，哪一個最好。我有一堆存儲在數據存儲中的實體A（Mongo是精確的，但確實沒關係）。我有一個Java應用程序，可以加載這些實體和運行一些邏輯他們生成一些數據類型的流E（要100％清除我沒有Es在任何數據集中，我需要生成它們在Java中後，我加

0熱度

2回答

爲什麼可以將PatternStream的相同事件發送到PatternSelectFunction和PatternTimeoutFunction？

我必須收集在3個卡夫卡採購流3個事件具有在給定的時間相同的correlationID，並能夠收集這些事件的全部或部分，如果他們遲到。我用在3的數據流中和CEP圖案聯合。但是我注意到與模式匹配的事件因此在select函數中收集的事件也會在超時函數中發送到超時函數。我不知道我做錯了什麼在我的例子，或者什麼，我聽不懂，但我期待的是那是正匹配的事件是不是也處於超時。我得到的印象是不相交的時間快照

1熱度

1回答

阿帕奇弗林克了：KeyedStream值地圖功能，又不失鍵狀態

我有一個密鑰流： KeyedStream<String, Data> keyed = env.addSource(...) .map(new Parser()) .keyBy(i -> i.key) 我想運行在我流的狀態，全過程的功能;但process將返回，導致失去KeyedStream正常未鍵控流，並迫使我再次打電話keyBy： SingleOutp