使用Apache YARN在Spring雲數據流上部署不成功

我已經使用Kafka-Zookeeper和Spring Cloud Dataflow 1.0.3安裝了單節點Apache YARN。使用Apache YARN在Spring雲數據流上部署不成功

所有工作正常，但是當我做了一些部署的例子，如：

流創建--name 「ticktock」 --definition 「時間| HDFS --rollover = 100」 --deploy

http --port = 8000 | log --name = logtest --level =信息

流的狀態從不停留在「已部署」狀態。它在不斷循環中不斷改變「未部署」 - >「部分」 - >「部署」。

但是，YARN應用程序部署成功，但它就像Spring Cloud Dataflow服務器實例和Apache Hadoop之間的通信一直在失敗。

這可能是什麼問題？

在此先感謝！

來源

2016-10-26 Juan Echeverria

當涉及到一個部署失敗的循環時，通常的懷疑是圍繞爲app-master和yarn容器分配的內存。你如何在YARN上配置SCDF服務器？你在使用Ambari插件嗎？（如果沒有，爲什麼？）。請查看本節[http://docs.spring.io/spring-cloud-dataflow-server-yarn/docs/current-SNAPSHOT/reference/htmlsingle/#yarn-troubleshooting）瞭解內存要求。還有[全局設置]（http://docs.spring.io/spring-cloud-dataflow-server-yarn/docs/current-SNAPSHOT/reference/htmlsingle/#_global_yarn_memory_settings），您也可以覆蓋它們。 –

感謝所有爲你解答！一直忙於其他高優先級的項目，但我能夠使用Ambari構建所有項目（包括Sabby Adannan提到的插件）。現在一切都很好！

來源

2016-11-09 13:43:34

好吧，這裏沒有太多的信息可以繼續，但是您可能想要檢查並確保您在HDFS中創建了必要的基本目錄，並且您的Yarn用戶具有對其的讀取/寫入權限。

spring.cloud.deployer.yarn.app.baseDir = /數據流

來源

2016-10-27 10:57:23 franktylerva

你好！謝謝回答。我如何檢查HDFS目錄？這是使用由SCDF控制檯提供的命令： _hadoop fs ls_ 在此先感謝！ –

你好。我創建的目錄使用： _hadoop fs -mkdir -p/dataflow_ 並添加到SCDF配置中。執行所有服務（包括SCDF）的用戶具有完全訪問權限和權限。這樣做並測試一個簡單的部署後，錯誤仍然存在。我可以做什麼其他檢查？提前致謝。 –

你能提供你的servers.yml文件嗎？ – franktylerva

使用Apache YARN在Spring雲數據流上部署不成功

回答

相關問題