spark-ec2

0熱度

1回答

目前，我使用spark-ec2.sh腳本在AWS上安裝了Spark 1.5.0版本。現在，我想升級我的Spark版本到1.5.1。我該怎麼做呢？是否有任何升級過程，或者我必須使用spark-ec2腳本從頭開始構建它？在這種情況下，我將失去所有現有的配置。請告知感謝

9熱度

1回答

使用spark-ec2更改hadoop版本

我想知道在由spark-ec2創建羣集時是否可以更改hadoop版本？我試圖 spark-ec2 -k spark -i ~/.ssh/spark.pem -s 1 launch my-spark-cluster 然後我用 spark-ec2 -k spark -i ~/.ssh/spark.pem login my-spark-cluster 登錄並發現了Hadoop的版本是1.0.4

0熱度

1回答

Spark EC2-S3端點Scala未解決

您好我已經能夠在AWS EC2上成功安裝2個Spark集羣，但最近我開始在創建腳本中出現以下錯誤。它基本上沒有設立Scala的包和未解決的源S3端點： --2017-02-28 17:51:30-- (try: 6) http://s3.amazonaws.com/spark-related-packages/scala-2.10.3.tgz Connecting to s3.amazonaws

0熱度

1回答

星火EC2上的專用租賃

我已經成功地管理使用從分佈在EC2安裝星火集羣： https://github.com/amplab/spark-ec2 不過，我可以看到有具有用於星火主EC2專用硬件租賃別無選擇和羣集節點，是這種情況還是我錯過了什麼？它會始終在共享硬件上運行嗎？感謝，

2熱度

1回答

如何使用spark-ec2解決「無法確定實例的主機名」錯誤？

試圖發動對EC2集羣星火，得到錯誤「無法確定實例的主機名」（與*替換敏感者）： $ spark-ec2 --vpc-id=vpc-* --subnet-id=subnet-* --slaves=1 --key-pair=* --identity-file=/Users/matthew/.ssh/* --instance-type=m3.large --master-instance-type=m3

1熱度

1回答

Apache Spark EC2腳本啓動奴隸，但沒有主人

當使用Apache Spark EC2腳本啓動羣集時，我發現某種程度的缺陷已經開始衝擊我的口袋。指定從站的數量時：如果輸入的數字大於或等於您的限制，那麼集羣將以最大數量的從站啓動 - 但不是主站！這使您無法控制從屬設備，從而進行集羣控制。我還沒有找到一種方法來啓動Apache Spark EC2腳本。我已經手動關閉了一個奴隸，爲主人騰出空間;然而，當再試圖重新啓動腳本，它只是說： Searchi

0熱度

1回答

阿帕奇星火EC2 c4.2xlarge沒有推出

當嘗試啓動使用Apache星火EC2腳本中，我得到以下錯誤的EC2集羣（c4.2xlarge）： Don't recognize c4.2xlarge, assuming type is pvm Spark AMI: ami-9a6e0daa Launching instances... ERROR:boto:400 Bad Request ERROR:boto:<?xml version