2017-04-05 26 views
0

我需要在EMR集羣和AFAIK上安裝一些python軟件包,當創建集羣時,我可以在EMR的引導操作中記下一些pip install blabla...命令,並且在爲集羣分配機器時將運行這些安裝命令。如何在更新boostrap操作時在AWS EMR上重新運行引導操作?

好吧,如果現在創建羣集,然後我需要安裝一些其他未包含在引導操作中的新包?我沒有發現這種情況下的任何方法,我是否需要使用新的引導操作重新創建新的羣集?

回答

0

集羣創建後,不幸的是,EMR不提供API來在所有NODES上運行命令。

EMR確實有STEP API,您可以在主節點上運行腳本。

您可以使用該STEP API運行腳本,該腳本可以在所有節點上運行腳本或手動運行腳本來執行此操作。

有幾種選擇,如Ansible , pdsh or simply SSH等。您可以使用YARN -list

找到EMR節點及其主機名列表
相關問題