apache-flink

    0熱度

    1回答

    我的代碼使用readTextFile讀取日誌文件,當我在Flink(/opt/flink-1.0.3/bin/flink run -m yarn-cluster -yn 2 /home/flink/flink-json-0.1.jar)中運行該jar時,它成功處理了裏面的行並停止了我的應用程序,而不是等待新行。 我需要一些參數來做它嗎? val env = StreamExecutionEnvir

    1熱度

    1回答

    我目前使用的是Apache flink並使用裏面的RxJava,我的問題是:使用它們兩個都合適嗎?因爲我的flink操作總是地圖函數,在它們的內部,我使用Rx密集地使用,比如從flink取得元組並且與它們進行異步操作(轉到數據庫,寫入隊列等),但是我沒有結束使用大多數flink暴露給我的方法,當Rxjava以處理結束時,我的程序步驟返回json。 你能告訴我,如果這是一個正確的使用flink或如果

    1熱度

    2回答

    使用Apache Flink我想創建一個按照存儲在Kafka事件中的時間戳排序的流式窗口。根據以下文章,這沒有實施。 https://cwiki.apache.org/confluence/display/FLINK/Time+and+Order+in+Streams 不過,文章的日期是2015年7月,現在幾乎是一年之後。是否實現了此功能,並且有人可以將我指向任何相關的文檔和/或示例。

    0熱度

    2回答

    我想基準Spark vs Flink,爲此目的我正在進行多項測試。不過Flink並不適用於Kafka,與此同時Spark完美無缺。 的代碼非常簡單: val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment val properties = new Properties()

    1熱度

    2回答

    我跟着Flink on YARN's setup documentation。但是,當我與./bin/yarn-session.sh -n 2 -jm 1024 -tm 2048運行,而被認證到Kerberos的,我得到以下錯誤: 2016-06-16 17:46:47,760 WARN org.apache.hadoop.util.NativeCodeLoader - Unable t

    0熱度

    1回答

    我使用弗林克流例子衣架提供&我想通過架IDs..following計算溫度組的總和是我的代碼: static Properties properties=new Properties(); public static Properties getProperties() { properties.setProperty("bootstrap.servers", "5

    4熱度

    1回答

    我使用Apache Flink處理數據流,並且需要在處理輸入數據的所有節點之間共享索引。索引經常被節點更新。 我想知道,從效率的角度來看,通過廣播變量共享數據集是否是一種很好的做法? 廣播變量是否會在每次更新後在所有節點中更新? Apache Flink是否智能地更新廣播變量以適應最近的更改?

    2熱度

    1回答

    我寫一個簡單的字數弗林克的工作,但我不斷收到此錯誤隱含值: could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[String] [error] .flatMap{_.toLowerCase.split("\\W+") fi

    0熱度

    1回答

    我傾聽Twitter流併成功提取我想從推文中獲得的數據。現在我想繼續建設與提取信息的圖表,就像 (user)--[tweets]-->(tweet) (tweet)--[mentions]-->(user) (tweet)--[tagged]-->(hashtag) 雖然此圖保留了建築的時候,我想運行在該圖的查詢。我如何使用Apache Flink做到這一點?

    2熱度

    1回答

    我試圖根據數據庫中的某些可用規則從一個原始數據流中創建新的數據流。一旦我開始Flink作業,並且在一些之後,如果我需要根據數據庫中更新的條目創建新的數據流,我該如何實現這一點。所以在這裏,我不想重新啓動Flink作業,而是在運行時動態創建新的數據流並將其添加到執行DAG。