星火在EC2上部署長的時間與自定義Windows AMI

我想上Amazon EC2上基礎設施上運行一些的Windows情況下，一個星火產業集羣，但我具有極高的部署時間遇到了一些問題。星火在EC2上部署長的時間與自定義Windows AMI

我的項目需要在的Windows環境中運行，因此，我使用的替代AMI通過與星火的spark-ec2腳本提供的-a指示其。當我運行該腳本，該過程一直堅持等待實例運行起來，並顯示以下消息：

Waiting for all instances in cluster to enter 'ssh-ready' state.............

當我使用默認的AMI，取而代之的是，集羣通常很少分鐘後啓動等候。

...我已經尋找與其他用戶類似的問題，到目前爲止，我只能夠找到this statement約長期部署的時間與定製AMI-S（見喬什·羅森的回答）。

我使用的是版本1.2.0的Spark。一個啓動集羣呼叫看起來像下面這樣：

./spark-ec2 -k MyKeyPair 
      -i MyKeyPair.pem 
      -s 10 
      -a ami-905fe9e7 
      --instance-type=t1.micro 
      --region=eu-west-1 
      --spark-version=1.2.0 
      launch MyCluster

的AMI上述表示是指：

Microsoft Windows Server 2012 R2 Base - ami-905fe9e7 
Desc: Microsoft Windows 2012 R2 Standard edition with 64-bit architecture. [English]

任何幫助或acclaration abouth這個問題，將不勝感激。

來源

2015-01-09 Mikel Urkia

對於它的價值，我看到使用默認（Linux）AMI的「等待ssh-ready」時間也非常長。不知道什麼是錯的。 –

我已經指定了密鑰文件的錯誤路徑。顯然，該腳本將來自SSH的_any_錯誤視爲「羣集可能尚未啓動」。你可以手動SSH進入機器？ –

我已經回答了這個問題。我的錯是沒有看到Spark的'spark-ec2'腳本在* Windows *環境下無法運行。無論如何，感謝提示，錯誤可以很容易地從這樣的簡單錯誤中創建。 –

我想我已經找到了問題。看來Spark不支持使用其默認腳本在Windows環境中創建集羣。我認爲仍然有可能通過一些手動調整來創建一個羣集，但是它會超出我有限的知識。 Here是解釋它的官方文章。

相反，隨着時間的解決方案，我正在考慮一個微軟Azure集羣，它剛剛發佈了一個試驗性的工具，使得能夠對他們的HDinsight使用的Apache Hadoop的（星火）的變體的使用集羣。 Here是更好地解釋它的文章。

來源

2015-01-16 14:37:00

星火在EC2上部署長的時間與自定義Windows AMI

回答

相關問題