apache-flink

0熱度

1回答

檢查點時打開一個簡單的CEP環形圖案 private Pattern<Tuple2<Integer, SimpleBinaryEvent>, ?> alertPattern = Pattern.<Tuple2<Integer, SimpleBinaryEvent>>begin("start").where(checkStatusOn) .followedBy("middle").whe

0熱度

1回答

是不是允許查詢Apache Flink Table API中的POJO數據集的超類型

我想在Windows 10上使用Apache Flink 1.3.2與Java 1.8.0_144 IDE Eclipse Mars實現日誌分析器。語境：有多種類型的LogMessage的。爲每種類型創建POJO。爲每種類型創建POJO類型的DataSet實例。然後使用表API進行查詢，如下所示。這工作正常。 DataSet<String> rawLogs = env.readText

0熱度

1回答

Flink保存點被拒絕

我試圖在我已經實現了定製的可並行套接字源的作業上使用保存點。源類似於這樣 @Override public void run(SourceContext<String> sourceContext) throws Exception { int idx = getRuntimeContext().getIndexOfThisSubtask(); String[] hosts

0熱度

1回答

使用Apache Spark/Apache Flink擴展

我計劃從Apache Kafka中讀取數據並將其處理（可能需要耗費時間）處理後將數據保存到數據庫的應用程序。我正在考慮將它插入Spark或Flink，但無法掌握這些規模：我的應用程序，當Spark/Flink的一部分，閱讀一些內容時來自卡夫卡的數據，然後退出或繼續閱讀？那麼Spark/Flink如何決定他們必須產生更多的應用程序實例來提高吞吐量？謝謝！

0熱度

1回答

弗林克從HDFS

讀取數據我在弗林克大一新生，我想知道的是如何從HDFS讀取數據。有人可以給我一些建議或簡單的例子嗎？謝謝你們。

0熱度

1回答

Flink歷史記錄服務器未顯示正在運行的應用程序

我正在嘗試配置flink歷史記錄服務器。我遵循flink文件here。我能夠啓動歷史記錄服務器，但只能看到已完成的作業，而不能看到正在運行的作業。我是否錯過了一些東西，或者它只是在歷史記錄服務器中顯示完成的作業。請幫助。喬布斯目前在集羣：本地主機：8081/joboverview { "running": [ { "jid": "e4e6edb76b8870

3熱度

1回答

Flink：窗口不處理數據流末尾

我有一個流（kafka消息正在流入主題）與flink卡夫卡消費者，我注意到一個有趣的行爲，我正在尋找解決。當數據正在流入時，如果它在窗口「完成」之前停止，或者數據結束（在幾個窗口之後）並且沒有到達窗口的末尾，則流水線的其餘部分會不觸發。實施例流程： env.addSource(kafkaConsumer) .flatMap(new TokenMapper()) .keyB

0熱度

1回答

阿帕奇弗林克：留下一個TableFunction JOIN不會返回預期的結果

弗林克版本：1.3.1 我創建了兩個表，一個是從內存，另一個是從UDTF。當我測試join和left join時，他們返回了相同的結果。我期望的是左連接有更多的行而不是連接。我的測試代碼是這樣的： public class ExerciseUDF { public static void main(String[] args) throws Exception { te

0熱度

1回答

Apache Flink shuffle的策略？它像在Hadoop中洗牌嗎？

如在hadoop中，map和reduce之間有一個混洗階段。我想知道flink是否有這樣的一個階段，以及它是如何工作的。因爲我已經閱讀了很多網站，他們沒有提及太多。例如wordcount演示，它有一個flatmap，key和sum 。兩個操作員之間總是有一個洗牌階段嗎？我能得到這些操作員之間的中間數據嗎？

2熱度

1回答

Flink：HA模式殺死領導jobmanager終止備用jobmanagers

我想讓Flink使用Zookeeper在HA模式下運行，但是當我嘗試通過殺死領導者JobManager來測試它時，我所有的備用jobmanage都被殺死了。因此，作爲一名新的領導者而不是一個備用的工作管理者，他們都會被殺死，這是不應該發生的。我的設置： 4臺服務器，其中3臺服務器運行Zookeeper，但只有1臺服務器將託管所有JobManager。 ad011.local: Zookeepe