apache-flink

1熱度

1回答

問：我怎樣才能查詢碼弗林克內部的特定消費羣的抵消了卡夫卡的話題？（和側面的問題（如果需要的話，會在這裏提出一個新問題）如果可能的話，我可以得到該偏移量的時間戳嗎？（我發現有cli工具來查詢它，但是這不是我想要的，因爲它不是編程方式弗林克工作中完成的）上滿問題的一些額外的背景，但我不想讓這個過於開放式的。我有其中數據將被從kafkaTopic1流入的程序的使用情況下（讓我們稱之爲P1），處理

0熱度

1回答

如何指定ResourceManager的地址爲bin/yarn-session.sh？

我是Flink的新手。運行時，我很困惑如何指定ResourceManager的地址bin/yarn-session.sh？

0熱度

1回答

Flink狀態後端鍵atomicy和分配

在閱讀flink文檔（相關部分在下面註明）之後，我仍然沒有完全理解原子性和密鑰分佈。即考慮由keyby-> flatmap（含有映射的狀態）的設置爲1與4個任務槽的曲線圖，和平行度，並確保弗林克每個鍵只存在一次（在一個任務時隙）在分佈式環境中，它是原子單位嗎？在此先感謝所有幫手。您可以將鍵控狀態視爲操作員狀態，該狀態已被分區或分區，每個鍵只有一個狀態分區。每個鍵控狀態都邏輯上綁定到一個唯一的

0熱度

1回答

如何正確初始化Apache Flink的任務狀態？

我正在研究基於Apache Flink的財務反欺詐系統。我需要根據金融交易計算許多不同的總量。我使用Kafka作爲流數據源。例如，在平均交易金額計算中，我使用MapState來存儲總交易數和每張卡的總金額。存儲在Apache Accumulo中的彙總數據。我知道Flink的持續狀態，但這不是我需要的。在計算開始之前有什麼方法可以將初始數據加載到Flink中？是否可以通過使用來自Accumulo的數

1熱度

2回答

Flink是否提供Java API以將作業提交給JobManager？

我知道喬布斯可以通過flink或flink.bat提交給JobManager。我想知道Flink是否提供Java API將作業提交給JobManager？

1熱度

1回答

在Flink Mapstate中刪除TTL過期密鑰

我需要能夠從地圖狀態中刪除比固定時間早的舊密鑰。我目前保持關鍵狀態圖中每個事件的時間戳，我想有一個ansyncronous進程將刪除這些陳舊的密鑰。我使用RocksDB作爲狀態後端，我不認爲RocksDB的Java API支持使用TTL打開的here。所以我的問題是：是它在所有可能擁有一個具有訪問Mapstate因爲它在操作功能上運行的異步線程？在這種情況下是否有更好的做法？在此先感謝

0熱度

1回答

如何在檢查點被禁用時配置特定的Zookeeper路徑來提交偏移量？

如果檢查點未啓用，卡夫卡用戶將定期向Zookeeper提交偏移量。是否可以配置動物園管理員路徑？

0熱度

1回答

從VM插座卡夫卡發送的數據流中，並接收對主機操作系統的弗林克計劃：反序列化問題

我從虛擬機發送數據流，以卡夫卡的測試題目用下面 public class WriteToKafka { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnviro

0熱度

1回答

不能在自定義DataSink（弗林克CEP）

初始化場我與Apache弗林克流API的一個問題。我可以設法建立整個CEP-環境與自定義數據源和源像使用標準的水槽時，「打印（）」，一切工作正常。這是我的片貌似現在： @RequiredArgsConstructor public class EventDataConsumer extends RichSinkFunction<EventData>{ private final tran

4熱度

1回答

Apache Apex與Apache Flink

由於兩者都是一次處理事件的流式框架，這兩種技術/流式框架之間的核心架構差異是什麼？另外，哪一個比另一個更合適？