apache-flink

7熱度

1回答

在閱讀Apache Flink的幾個文檔頁面（official documentation,dataartisans）以及official repository中提供的示例之後，我會繼續看到它們用作數據源來流式處理文件的示例已經下載，總是連接到本地主機。我正在嘗試使用Apache Flink下載包含動態數據的JSON文件。我的目的是試圖建立我可以訪問JSON文件作爲Apache Flink的輸入

1熱度

1回答

類型信息沒有定義

object EventConsumer { def main(args: Array[String]): Unit = { val env = ExecutionEnvironment.getExecutionEnvironment val data1 = env.readTextFile("file:////some_events.txt"); //

1熱度

1回答

Spark Streaming：如何將輸出反饋到輸入

是否可以實現上面顯示的場景？系統從一個鍵值對開始，並發現新的對。首先，鍵值對的數量會增加，然後在迭代中縮小。更新：我必須轉向Flink Streaming進行迭代支持。儘管與卡夫卡嘗試！

2熱度

1回答

弗林克：默認分區/改組策略/函數

哪些策略（散列，排序）不弗林克使用默認減少數據集/分組（例如GROUPBY或減少功能）？並且API函數不弗林克在洗牌步驟用於分區和排序分區默認內的元素？

2熱度

1回答

Flink的快速入門不會創建一個合適的fat-jar

我絕對不是mvn的專家，但是經過2天左右的攻擊，我只是放棄了。我的工作流程： MVN原型：生成\ -DarchetypeGroupId = org.apache.flink \ -DarchetypeArtifactId =弗林克-快速入門 - 斯卡拉\ -DarchetypeVersion = 0.10.1 \ -DgroupId = org.apache.flink.quickstart \

2熱度

1回答

Apache Flink RabbitMq SBT依賴性失敗

我試圖使用Flink與RabbitMq流連接器。嘗試了所有可能的版本組合，但仍然失敗。這裏是我的SBT構建片段 scalaVersion in ThisBuild := "2.11.7" val flinkVersion = "1.0.0" val json4sNative = "org.json4s" %% "json4s-native" % "3.3.0" val flinkDe

1熱度

1回答

Flink字數計算示例缺少庫

我正在嘗試使用Flink運行示例程序。我下載使用 mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-scala -DarchetypeVersion=0.8.1 項目的例子，然後我跑終端 mvn package && java -cp target/te

1熱度

1回答

Apache Flink InvocationTargetException：作業執行失敗。連接超時

我從Apache Flink的快速入門指南中創建this示例。我總是不斷收到錯誤： Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.4.0:java (default-cli) on project wiki-edits: An exception occured while executing the Java class

3熱度

1回答

Apache Flink 1.0.0。活動時間相關的遷移問題

我曾試圖遷移一些簡單的任務，弗林克1.0.0版本，但它失敗，出現以下異常：了java.lang.RuntimeException：記錄有Long.MIN_VALUE時間戳（=無時間戳記標記）。時間特徵是否設置爲'ProcessingTime'，或者您是否忘記調用'DataStream.assignTimestampsAndWatermarks（...）'？該代碼由從經由卡夫卡主題，其中一個任務

0熱度

1回答

flink中的案例類序列化

我正在嘗試使用Scala的案例類（我想通過元組使用案例類，因爲我想按名稱連接字段）構建數據集。下面是一個加入我工作的一個迭代： case class TestTarget(tacticId: String, partnerId:Long) campaignPartners.join(partnerInput).where(1).equalTo("id") { (target, pa