apache-flink

1熱度

1回答

我的問題是，如果我們有兩個原始事件流，即煙霧和溫度，我們要找出是否複雜的事件即消防已經運用運營商的原始數據流發生的事情，我們可以做到這一點在弗林克？我在問這個問題，因爲我目前爲Flink CEP看過的所有例子都只包含一個輸入流。如果我錯了，請糾正我。

1熱度

1回答

Elasticsearch索引作爲apache flink批處理作業的源碼

我對Apache Flink相當陌生。我有一個具體的要求是我必須使用elasticsearch索引作爲源。我試圖找出flink是否具有elasticsearch的來源，但似乎不是。我可以看到我們可以將elasticsearch作爲一個接收器，但是作爲源的直接支持不在那裏。任何人都可以指導我如何解決這個問題。我正在使用elasticsearch 5.5.0和flink 1.2。

-1熱度

1回答

阿帕奇風暴TICK元組在Apache flink中相當於什麼？

我是apache Flink的新手。我想每小時記錄緩存中條目的數量到一個文件。我使用tick元組在這個風暴中做了這個。 Flink有類似的東西，我可以在flink運營商中使用嗎？

2熱度

1回答

Apache Flink Dynamic sink of sink

我正在使用Apache Flink和KafkaConsumer讀取卡夫卡主題中的一些值。我也有一個從閱讀文件中獲得的流。根據收到的值我想寫這個流在不同的卡夫卡主題。基本上，我有一個網絡與一個領導鏈接到許多孩子。對於每個孩子來說，領導者需要在特定兒童卡夫卡主題中編寫流派流，以便孩子可以閱讀。當孩子開始時，它會註冊在領導者提供的卡弗卡話題中。問題是我不知道我有多少孩子。例如，我從卡夫卡主題

-1熱度

1回答

阿帕奇flink數據集

我有DataSet數據對象，它將有50列數據的結果集。現在我想過濾結果集DataSet filteredData，它應該只有2列數據。如何做到這一點Apache Flink的Java？

0熱度

1回答

將自定義源的數據以連續的方式寫入flink

這是我第一次使用Apache Flink（1.3.1）並且有問題。更詳細地說，我正在使用flink-core，flink-cep和flink-streaming庫。我的應用程序是一個Akka ActorSystem，它消耗來自RabbitMQ的消息，並且各個角色處理這些消息。在一些演員中，我想實例化來自Flink的StreamExecutionEnvironment並處理傳入的消息。因此我寫了一個

1熱度

1回答

基於模型的增量式異常值檢測

我正在處理流式數據（使用Java和Apache Flink），我想執行異常值檢測。我有一個網絡，每個傳感器接收流。然後，他們將其流的採樣版本發送到組合所有樣本並生成全局模型的「領導者」節點。之後，它將全局模型發送給每個孩子。孩子們將使用這個模型來檢測異常值。這必須以連續的方式發生（即每次領導者接收x個樣本時，其更新模型並廣播它）。我發現的論文/方法遇到的問題是，爲了構建模型，我需要擁有所有

1熱度

1回答

Apache Flink：如何更改緩衝區超時參數？

Apache Flink緩存任務的傳出，然後發送下一個任務進行處理。緩衝會影響延遲，因爲我知道即使沒有填充緩衝區，緩衝也會發送數據到下一個任務。我該如何改變緩衝超時？我找不到任何文件。是每個Flink羣集或每個TaskManager的配置？它可以根據任務/操作員進行配置嗎？因爲我知道Flink緩衝區，即使任務在同一個TaskManager上。在這種情況下，它將影響同一個TaskManager

0熱度

1回答

卡夫卡/ Flink與地圖功能的集成問題

我在Apache Flink的scala中運行一個簡單的腳本。我從Apache Kafka製作人處讀取數據。這是我的代碼。 import java.util.Properties import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment import org.apache.flink.stream

1熱度

1回答

消耗阿帕奇弗林克

DynamoDB流有沒有人嘗試消耗DynamoDB在Apache中弗林克流？弗林克有室壁運動的消費者。但我正在尋找如何直接使用Dynamo流。 DataStream<String> kinesis = env.addSource(new FlinkKinesisConsumer<>( "kinesis_stream_name", new SimpleStringSchema(), con