如何在aws上已經運行的EMR集羣上安裝Apache鑽取

Question

我有一個持久運行的EMR集羣。我不想推倒。

如何在aws上已經運行的EMR集羣上安裝apache drill？

Answer 1

假設您安裝了SSM，可以使用ssm.send_command（將命令發送給所有節點）來調用S3腳本，該腳本在正在運行的EMR集羣上安裝並啓動鑽取。

Answer 2

在AWS Github https://github.com/awslabs/emr-bootstrap-actions/blob/master/drill/setup_drill上提供了一個ruby腳本，它看上去像應該的工作，假設你已經安裝了ruby。我沒有看到它無法在現有羣集上運行的任何原因。安裝了所有選定的EMR組件後，EMR運行引導腳本，應用hadoop用戶創建和配置設置。當然，你會在一個新的集羣上測試它，所以你不會破壞你的持久集羣。

該腳本需要在每個節點上運行，因此您可以scp或將其複製到s3，然後使用aws cli將其複製到每個節點，或使用@fmcmac建議的內容。我在line 38上看到它知道當前節點是否是主節點，因此它具有足夠的智能以便正確安裝。

它看起來已經更新幾年了，所以您需要檢查它正在安裝的版本&的依賴項版本，並且可能會進行一些調整。它似乎試圖從http://getdrill.org/drill/download獲得apache-drill-1.0.0.tar.gz，它應該是來自較新站點https://drill.apache.org/download/的v1.12.0，因此至少該部分需要更改。它還會安裝Zookeeper來運行Drill，因此如果zookeeper已經存在，Drill將需要作爲新的應用程序安裝，因此請檢查您是否已經在運行Zookeeper，如果嘗試在頂部安裝，版本兼容性可能會遇到問題仔細檢查。另外，EMR集羣被拆除，引導腳本&集羣配置和「步驟」使得這一點變得簡單。開機，運行工作，拆卸。這種方式更便宜。 「集羣是牛，而不是寵物」。即使您需要它爲分析師工作，也有一些時候它沒有被使用，因此會花費您的錢。