apache-flink

    1熱度

    1回答

    在我的Flink代碼中,我流式傳輸位於HDFS文件夾中的文件,出現錯誤「(無此文件或目錄)」,但是我確定文件名地址是正確的,因爲我在批處理方法中使用了相同的方法,並且每件事情都很順利。 是否有人知道可能是什麼問題? 這裏是我的代碼: DataStream<FebrlObject> myStream = env.addSource(new MyObjectGenerator("hdfs://../

    1熱度

    1回答

    我正在編寫一個簡單的示例,用於在Flink中使用最新的Github版本1.1-SNAPSHOT測試新的Scala API for CEP。 該模式只是一個值的檢查,併爲匹配的每個模式輸出一個字符串作爲結果。代碼如下: val pattern : Pattern[(String, Long, Int), _] = Pattern.begin("start").where(_._3 < 4) va

    2熱度

    1回答

    處理數據的模式是我有一些記錄流,這些記錄充滿了一些信息A.記錄被一些ID分割。該信息A取決於當前記錄,先前計算的結果和大型查找表。查找表不會經常更改並且更改較小。我知道我可以使用mapWithState/flatMapWithState進行有狀態計算。但是,我應該如何處理查找表?慣用的方式是將它作爲狀態來處理(比如A),但查找表的大小對於性能/內存可能是可怕的(例如,在快照時) 我目前正在考慮將其

    0熱度

    3回答

    我想測試RMQSource類來接收來自RabbitMQ的數據,但我不知道如何爲我的交換配置Rabbit虛擬主機,而且我認爲是我的問題。我的代碼: import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment import org.apache.flink.streaming.connectors.rabbitmq.R

    0熱度

    1回答

    我有兩個流。一個是事件流,另一個是數據庫更新流。我想用從數據庫更新流構建的信息豐富事件流。 事件流非常龐大,使用5個字段進行分區。這給了我很好的分配。數據庫流比較少煩人,並使用兩個字段進行分區。我目前使用兩個公共字段連接兩個流,並使用flapMap來豐富第一個流。 flatMap運算符使用ValueState維護狀態,該狀態由兩個公共字段自動鍵入。 我發現事件流中的負載在兩個常見字段中傾向於傾斜。

    0熱度

    1回答

    我正在考慮如何使用Apache Flink作爲我目前正在開發的投票系統。我是一個完全新手Flink和任何幫助將不勝感激。 的要求是: 一些特權的用戶可以在任意的問題開始投票。用戶可以隨時關閉投票。 多達數十萬人可能參加投票 投票計數應在投票開始後立即開始,並且中間結果應隨時間更新,以便它可以顯示給參與者。 當系統在投票結束後結束計數時,應通知參與者最終結果。 在我的理解中,Flink的流處理是針對

    1熱度

    1回答

    我是Flink Streaming API的新手,我想完成以下簡單(IMO)任務。我有兩個流,我想使用基於計數的窗口來加入它們。我到目前爲止的代碼如下: public class BaselineCategoryEquiJoin { private static final String recordFile = "some_file.txt"; private static class

    3熱度

    1回答

    我正在構建一個具有以下要求的應用程序,我剛剛開始使用flink。 提取數據到卡夫卡與說50個分區(呼入率 - 100,000封郵件/秒)從卡夫卡和處理每個數據 讀取數據(做一些計算,與舊的數據等進行比較)實時 將輸出存儲在卡桑德拉 我在尋找一個實時流媒體平臺,發現Flink非常適合實時和批量處理。 您是否認爲flink最適合我的使用情況,還是應該使用Storm,Spark streaming或任何

    3熱度

    2回答

    如果我想直接從Intellij內部運行Flink應用程序,但我需要指定config params(如fs.hdfs.hdfssite設置S3訪問),是否有任何其他方式提供這些配置參數ExecutionEnvironment.createLocalEnvironment(conf)除?如果我想用StreamExecutionEnvironment.getExecutionEnvironment怎麼辦

    0熱度

    1回答

    我正在寫一個代碼,它從文本文件中讀取並將每一行解析爲Json,但Flink中的作業(1.0.3 - Cluster 2個Taskmanagers)失敗與日EXCETION:java.lang.ClassNotFoundException: play.api.libs.json.Reads 我的代碼: import org.apache.flink.streaming.api.scala._ im