1
我打算在EC2上使用Hadoop。由於我們必須按實例使用情況進行支付，因此具有固定數量的實例比實際需要的實例並不好。EC2上的Hadoop集羣中按需生成奴隸
在我們的應用程序中，許多作業是同時執行的，我們並不總是知道從屬要求。是否可以用最少的奴隸啓動hadoop集羣，然後根據需求管理可用性？
即創建/點播摧毀奴隸
子問題：能否Hadoop集羣管理多個作業同時？
感謝
A
回答
0
1
是在Hadoop中使用的默認調度是一個簡單的FIFO之一，你可以考慮使用FairScheduler該集羣的份額分配給每個正在運行的作業並擁有豐富的配置，以控制這些股。
就EC2而言 - 您可以輕鬆地開始使用一定數量的節點，然後一旦您看到隊列中的任務過多，並且羣集中的所有插槽都被佔用 - 請添加更多。您只需啓動一個實例並啓動一個任務跟蹤器，該任務跟蹤器將向jobtracker註冊。
但是，您將不得不擁有自己的系統來管理這些節點的啓動和關閉。
0
只想讓你知道，我們正在做這方面的一些工作Apache Whirr。我們正在跟蹤WHIRR-214的進度。投票或加入發展。 :)
相關問題
- 1. 如何配置的主人/奴隸機Hadoop的1.2.1集羣
- 2. Hadoop集羣以Linux主機和Windows 7作爲奴隸
- 3. Hadoop集羣配置與Ubuntu主和Windows奴隸
- 4. Jenkins EC2奴隸SSH失敗
- 5. 詹金斯錯誤試圖提高按需Linux的ec2奴隸
- 6. Hadoop集羣設置：數據節點不能在奴隸機上工作
- 7. 奴隸datanode不工作在hadoop 0.20.2和奴隸無法與主@ 54310溝通
- 8. mesos奴隸沒有連接mesos主人集羣
- 9. vmware上的hadoop，namenode沒有找到奴隸
- 10. 詹金斯奴隸上自動生成的生成文件夾太長
- 11. 使PC成爲Arduino ADK的奴隸
- 12. RoR + Redis Master - 奴隸
- 13. phpmyadmin只讀奴隸
- 14. 在hadoop集羣上安裝spark集羣
- 15. 如何處理hadoop集羣上的id生成？
- 16. NFS上的Hadoop集羣
- 17. '奴隸'的單數錯誤
- 18. Hadoop Datanode奴隸沒有連接到我的主人
- 19. 哈德森生成服務器 - 與關機奴隸機問題
- 20. java.lang.NoClassDefFoundError：上運行Hadoop集羣
- 21. 在Amazon EC2上運行hadoop作業：多節點羣集
- 22. 如何在ec2上重新啓動單節點hadoop集羣
- 23. 如何在EC2-S3或EBS實例上安裝Cloudera Hadoop集羣？
- 24. 在詹金斯奴隸上使用maven
- 25. 在詹金斯奴隸上安裝git
- 26. Datastax羣集存儲的Amazon EC2 - 生產
- 27. 通過jenkins外殼在奴隸上清潔碼頭集裝箱
- 28. Apache Spark EC2腳本啓動奴隸，但沒有主人
- 29. Jenkins亞馬遜EC2代理雲 - Windows奴隸
- 30. 爲Hadoop集羣
我投了贊成票 – Nayn 2011-06-20 13:42:51