在Hadoop/YARN世界中,您始終需要客戶端計算機上的配置文件。所以,你需要在本地獲取它們。但是,你通常需要其中的一些,而不是全部。在大多數情況下,如果我沒有弄錯,只要有hdfs-site.xml,core-site.xml和yarn-site.xml就足夠了。爲了安全起見,將它們全部複製到本地目錄中。
然後在機器上的flink-conf.yaml文件中配置以下參數,該參數將扮演客戶機的角色,即aka。你將從你的工作開始。
fs.hdfs.hadoopconf: path_to_hadoop_conf_dir
那麼你應該能夠告訴弗林克工具來使用的紗線主作爲作業管理器推出紗線的工作。
flink run -m yarn-cluster -yn <num_task_managers> -yjm <job_manager_memory> -ytm <task_manager_memory -c <main_class> <jar>
如果已經配置在弗林克-conf.yaml以上內存參數,它應該有可能通過省略所有這些詳細參數
flink run -m yarn-cluster -n <num_task_managers> -c <main_class> <jar>
作爲爲默認值來啓動工作快速測試,你可以嘗試在YARN上啓動一個Scala shell。
start-scala-shell.sh yarn -n <num_task_managers> -nm test_job