在AMAZON EMR上運行紗線應用程序

Question

我想在AMAZON EMR上運行雅虎項目的紗線上的紗線。在EMR上，主管本地目錄無法創建。我想也許連接問題或沒有權限。 你能給我一些建議嗎？感謝您的幫助。

2017年3月1日11時38分02秒的主管[ERROR]上 服務器MK-監java.io.IOException的初始化錯誤：無法創建目錄 的/ mnt /紗線，/ mnt1上/紗線/ usercache/yarn/appcache/application_1488367739843_0002/container_1488367739843_0002_01_000006/storm/storm-1.0.1/storm-local/supervisor at org.apache.storm.shade.org.apache.commons.io.FileUtils.forceMkdir（FileUtils.java:2384 ） 〜[storm-core-1.0.1.jar：1.0.1] at org.apache.storm.config $ supervisor_local_dir.invoke（config.clj：172） 〜[storm-core-1.0.1.jar ：1.0.1] at org.apache.storm.config $ supervisor_isupervisor_dir.invoke（config.clj：177） 〜[storm-core-1.0.1.jar：1.0.1] at org.apache.storm.daemon.supervisor $ fn__9230 $ exec_fn__2461__auto ____ 9231.invoke（supervisor.clj：781） 〜[storm-core-1.0。 1.jar：1.0.1] at clojure.lang.AFn.applyToHelper（AFn.java:160）〜[clojure-1.7.0.jar :?] at clojure.lang.AFn.applyTo（AFn.java： 144）〜[clojure-1.7.0.jar :?] at clojure.core $ apply.invoke（core.clj：630）〜[clojure-1.7.0.jar :?] at org.apache.storm。 daemon.supervisor $ fn__9230 $ mk_supervisor__9275.doInvoke（supervisor.clj：779） [storm-core-1.0.1.jar：1.0.1] at clojure.lang.RestFn.invoke（RestFn.java:436）[clojure -1.7.0.jar :?]在 org.apache.storm.daemon.supervisor $ _launch.invoke（supervisor.clj：1216） [storm-core-1.0.1。 jar：1.0.1] at org.apache.storm.daemon.supervisor $ _main.invoke（supervisor.clj：1249） [storm-core-1.0.1.jar：1.0.1] at clojure.lang。 AFn.applyToHelper（AFn.java:152）[clojure-1.7.0.jar :?] at clojure.lang.AFn.applyTo（AFn.java:144）[clojure-1.7.0.jar :?] at org.apache.storm.daemon.supervisor.main（來源不明） [風暴核心1.0.1.jar：1.0.1]

Answer 1

1. 密碼的ssh已經是默認的，你將有特別是使用密碼SSH登錄（並且這樣做不是一個好主意，因爲它比使用密鑰對更安全，我認爲這是你的意思「沒有密碼的ssh登錄」）。

當您創建EMR集羣時，您可以選擇指定要使用的SSH密鑰的名稱（在已經上傳公鑰或使用AWS Console/CLI爲您創建密鑰對之後），那麼您可以使用私鑰（通常爲.pem文件）將SSH連接到EMR集羣的主實例。

欲瞭解更多信息，請訪問以下網頁： http://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-connect-master-node-ssh.html http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-key-pairs.html

這很難說是什麼問題，因爲你沒有提供太多的信息，但它聽起來像你可能以'ec2-user'的身份登錄到羣集。在使用EMR時，您應該以「hadoop」用戶身份登錄羣集。如果這不能解決您的問題，請更新問題，並提供更多關於您正在進行的操作的詳細信息。