EMR羣集上沒有安裝Spark

Question

我已經在EMR羣集上使用了Spark幾個星期，現在沒有問題 - 安裝程序使用的是AMI 3.8.0和Spark 1.3.1，並且將'-x'作爲Spark的參數（沒有它，似乎沒有安裝）。

我想升級到更新版本的Spark，並且今天使用包含Spark 1.5.0的emr-4.1.0 AMI創建了一個集羣。當羣集啓動時，聲稱已經成功安裝了Spark（至少在AWS上的羣集管理頁面上），但當我登錄到'hadoop @ [IP地址]'時，在'hadoop'目錄中看不到任何內容，其中在之前的版本中安裝了Spark（我也嘗試過使用其他應用程序並得到相同的結果，並嘗試以ec2用戶身份登錄ssh，但Spark也未安裝）。當我使用emr-4.1.0 AMI啓動集羣時，我沒有將'-x'參數傳遞給Spark的選項，我想知道是否有我丟失的東西。

有沒有人知道我在做什麼錯在這裏？

非常感謝。

Answer 1

這實際上已經解決了，相當平凡。

在之前的AMI中，Spark和其他應用程序的所有路徑都是hadoop文件夾中的可用軟鏈接。在較新的AMI中，這些已被刪除，但應用程序仍安裝並可通過命令行中的'spark-shell'（例如）進行訪問。