apache-flink

3熱度

1回答

有一個名爲flink-jdbc的模塊，它僅支持基於JDBC InputFormat的非並行元組類型。爲了對JDBC使用並行InputFormat，似乎需要通過實現以下接口進行定製：org.apache.flink.core.io.InputSplit。所以在我的情況下，我如何定製實現JdbcInputSplit從數據庫並行查詢數據？

0熱度

1回答

弗林克流作業切換到故障狀態

我哈瓦一個8個節點集羣弗林克和5個節點集羣卡夫卡運行一個字計數工作。在第一種情況下，生成大量數據並將其推送到Kafka，然後啓動Flink作業。在這種情況下一切正常。而在第二種情況下，弗林克數據流作業，第一次啓動，然後數據被製作成卡夫卡的話題。在這種情況下，Flink作業通常會切換到失敗狀態。工作啓動後，有時會立即失敗。有時會在作業啓動後幾分鐘失敗。 org.apache.flink.runti

7熱度

1回答

當從IDE運行Flink時，如何啓動Flink作業管理器Web界面

我想從IDE本地啓動它時訪問Flink Web界面。我需要這個，因爲我想訪問Flink的計數器（累加器）。

2熱度

1回答

Flink Gelly - 創建圖形時出現類型不匹配

我是Apache Flink和Gelly的新手，我使用Scala API。我哈瓦頂點的數據集和邊緣的一個DataSet，我想創建這樣一個圖： val env = ExecutionEnvironment.getExecutionEnvironment // correct result val edges: DataSet[Edge[Long, Long]] = (some transform

1熱度

4回答

弗林克：連接元件 - 類型不匹配錯誤

我試圖使用所述的Scala API的曲線運行連接的組件算法如圖中節目指南和其它實例。 val graph = Graph.fromDataSet(vertices, edges, env).getUndirected val maxIterations = 10 val components = graph.run(new ConnectedComponents(maxIterations))

1熱度

1回答

Q HPX公平vs'apache雲計算'（例如vs spark）？

我一直在尋找HPX（https://github.com/STEllAR-GROUP/hpx）作爲使應用程序更具可擴展性的潛在機制。我相信HPX主要針對HPC社區（並因此進行了優化），HPC社區通常具有多個代碼羣集，其中包含許多具有快速互連的代碼。 parallelX模型並不需要這樣做，但當然由於在節點之間傳遞數據的成本較高，性能會下降。另一方面，我們有一套Java框架，包括hadoop，sp

4熱度

2回答

弗林克+卡夫卡：getHostnamePort

我想從弗林克讀卡夫卡的話題 package Toletum.pruebas; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.utils.ParameterTool; import org.apache.flink.st

3熱度

1回答

Flink + Kafka重置檢查點和偏移量

總之，我想重新運行一個Flink管道上的數據卡夫卡從開始。 Flink 0.10.2，Kafka 0.8.2。我在Kafka有一個tweets主題，保留時間爲2小時，Flink的一個管道用10分鐘5分鐘的滑動窗口計算tweets。如果我中斷管道並重新運行它，我希望它重新讀取舊的tweets，從而發出5分鐘的推文值。相反，它似乎從新到的推文重新啓動，所以它需要5分鐘纔算「處於政權」。我試過a

1熱度

2回答

添加Flink ML依賴關係

我試圖創建一個sbt Scala項目，添加一些來自Flink.I的代碼已經成功添加了大多數Flink項目，但Flink-ML。我已嘗試添加不同的依賴關係，並且是錯誤如下： sbt.build配置： resolvers += Resolver.mavenLocal // I have downloaded the Flink project and compiled in local. lib

3熱度

2回答

如何在Apache Flink中將Scala DataSet傳遞給Java類

我是Scala中的新成員。所以我想在Java中處理Apache Flink的DataSet。但我有一個Scala代碼中的DataSet，我想在Java Class的方法中傳遞。例如：在斯卡拉： val dS: DataSet[Vector] = ... SampleJavaClass.sendDS(ds) 在SampleJavaClass.java有像sendDs(DataSet<Vec