如何在遠程YARN羣集上運行Flink作業

Question

我有一些問題需要通過scala API遠程部署Flink作業。

我在集羣中啓動Yarn會話並沒有問題，然後在命令行中用jar來運行我的作業。

我想要的是直接用我的IDE運行我的工作。如何在Scala中做到這一點？

val env = ExecutionEnvironment.createRemoteEnvironment("mymaster", 6123, "myjar-with-dependencies.jar") 

這是行不通的，我意識到我沒有聲明任何YARN部署。

任何幫助？

Answer 1

Flink目前（2017年3月，Flink 1.2）不允許通過ExecutionEnvironment以編程方式在YARN上進行部署。

您可以查看Flink的內部未記錄的API以將其部署到YARN上，然後通過遠程env進行提交。