我正在嘗試使用Amazon Elastic MapReduce(EMR)來分析受控訪問基因組數據的管道,它將有助於瞭解EMR羣集的主從安全組所需的最小出站規則集。我確信它不同於地區,並且在http://docs.aws.amazon.com/general/latest/gr/aws-ip-ranges.html給出的IP範圍可能包含它們,但是確切地知道我們應該擔心哪些CIDR塊將是很好的。看起來EMR只是在入站規則中爲所有工作都打出了正確的漏洞,但是我發現如果出站規則不是「允許所有流量」,那麼集羣就會停滯在配置中。EMR羣集的主/從安全組所需的最小出站規則集是多少?
0
A
回答
2
我們遇到了同樣的問題。我們解決這個問題的方式是通過下面的方法。
從ip-ranges.json中,使用EC2 CIDR塊& AMAZON服務cidr塊。您可以減去CLOUDFRONT & ROUTE53塊。
原因是您需要能夠與您的VPC外部提供的EMR webservice端點交談。 EMR使用EC2實例的一個子集來啓動羣集。
如果您有支持合同,請讓亞馬遜向您提供CIDR塊(我們爲諮詢服務付費,這是他們所做的一件事)。
此外,由於EMR webservice位於公共DNS端點(不是10. *),因此應該有到Internet網關的路由。
相關問題
- 1. 編譯`async`代碼所需的最小類型集是多少?
- 2. VoIP呼叫所需的最小協議集是多少?
- 3. Hadoop - Cloudera MRV1集羣規劃 - 理想集羣節點的最小數量是多少?它看起來如何?
- 4. 如何調整EMR羣集的大小
- 5. 火花在火花獨立羣集模式下運行所需的最低硬件安全數是多少?
- 6. 升級EMR集羣?
- 7. EMR羣集上沒有安裝Spark
- 8. Mongo羣集所需的最少配置服務器數
- 9. 一個安全的服務結構集羣需要多少個證書
- 10. 將工件部署到Nexus 3所需的最小權限集是多少?
- 11. OperationTimeoutException Cassandra集羣AWS/EMR
- 12. Hadoop集羣 - 正常集羣和安全集羣之間的性能差異
- 13. 從java中的另一個安全組創建Aws安全組入站規則
- 14. 安全Nifi集羣設置
- 15. Kafka集羣安全IOT
- 16. sql server集羣上存儲的最大數據量是多少?
- 17. Hadoop集羣中的最大數據節點數量是多少?
- 18. 從EMR集羣主節點使用spark-submission外部
- 19. 將Urbanairship集成到我的ios應用程序所需的最小文件集是多少?
- 20. CouchDB集羣和/或數據庫的最大已知大小是多少?
- 21. 查找最大羣集的最小值?
- 22. 我的EMR羣集在哪裏
- 23. Amazon EMR集羣上的spark-csv錯誤
- 24. 引導Amazon EMR集羣的spark-avro jar
- 25. EMR集羣中的映射器分佈
- 26. 帶有火花的AWS DataPipeline EMR集羣
- 27. Hadoop多主集羣設置
- 28. 使用boto3將現有EMR羣集複製到新羣集
- 29. 將EBS卷附加到EMR羣集的主節點上
- 30. 連接到安全的HBase集羣
您可以詳細說明亞馬遜支持的貢獻嗎?你說我需要的信息是在ip-ranges.json中,但是有一個_bunch_ CIDR塊必須包含在給定區域的安全組出站規則中。您是否認爲亞馬遜支持縮小了您必須考慮的CIDR塊? – verve
是的,他們通過識別'AMAZON'服務範圍的子集來減少IP範圍。對於例如他們知道EMR的IP範圍,所以我們不需要包含所有'AMAZON'塊。另一種選擇是'一堆'。 – user1452132