1
A
回答
1
Namenode和DataNode計數取決於您的業務需求。你不通過編程來設置它們。
如果您需要可擴展性，您必須查看HDFS聯合的概念。
有關聯合的更多詳細信息，請參閱此文檔page。
爲了水平縮放名稱服務，聯邦使用多個獨立的Namenodes /名稱空間。 Namenodes是聯合的; Namenodes是獨立的，不需要彼此協調。 Datanodes被所有Namenode用作塊的公共存儲。
映射器由輸入分割決定的數量。
您可以以編程方式設置減少器數量，但框架並不強制服從您的建議。
所以最好讓Hadoop決定Mappers和Reducers的數量。
看一看這個相關SE問題：
How hadoop decides how many nodes will do map and reduce tasks
編輯：
Hadoop集羣的大小： 1.從您的企業識別數據requriements需要 2.確定replicaiton因素對於你的數據 3.計算未來幾年的數據擴展率 4.一旦你有了以上的數據，你可以考慮理想的簇大小和硬件對Namenode和Datanode的要求。
有關更多詳細信息，請參閱此cloudera article。
地圖的並行度的正確級別似乎是每節點大約10-100個地圖「這裏的節點表示NameNode或DataNode？
它是Datanode。
談論映射器時，也有人說，相同數目的分裂，另一個說相同的塊數，而其他人說，這是由框架
它是由Hadoop框架，取決於輸入的數量決定確定分裂。
看一看相關SE問題：
相關問題
- 1. 如何設置自定義hadoop job_id？
- 2. 如何在hadoop-evn.sh中設置內存
- 3. 如何設置hadoop集羣優先級？
- 4. 如何爲java hadoop設置-file選項？
- 5. 設置hadoop集羣
- 6. Hadoop：«ERROR：JAVA_HOME未設置»
- 7. Hadoop環境設置
- 8. 用戶的Hadoop組設置
- 9. cloudera的設置權限hadoop
- 10. Mac機上的Hadoop設置
- 11. hadoop，在hadoop-env.sh中設置JAVA_HOME
- 12. 如何使用java代碼設置amazon ami的hadoop配置
- 13. 如何在hadoop配置中正確設置s3a配置？
- 14. 在hadoop中設置Java_home
- 15. hadoop單節點設置
- 16. 用boto設置hadoop參數？
- 17. Hadoop多主集羣設置
- 18. Hadoop開發Eclipse設置
- 19. 設置（Windows）Hadoop集羣
- 20. 如何爲Spark，Python設置特定的Hadoop版本
- 21. 如何設置hadoop中Map任務的數量Job class
- 22. 如何將機器設置爲Hadoop中的任務跟蹤器
- 23. 如何在hadoop的新api中設置setMaxMapTaskFailuresPercent？
- 24. 如何在hadoop 0.20中設置地圖任務的數量？
- 25. 如何在Hadoop中設置MultithreadedMapRunner中的線程數？
- 26. 如何設置容器的物理限制在Hadoop中
- 27. 如何設置減輕基於簇的大小在Hadoop中
- 28. 如何將InputStream數據設置爲hadoop中的FSDataInputStream
- 29. 如何設置hadoop中的節點數量？
- 30. 爲Hadoop設置我的JAVA_HOME變量
謝謝回答，我明白NameNodes可以通過CONFIGRATION，映射器和減壓器設置由Hadoop框架確定。那麼DataNode如何設置他們的號碼呢？ 同樣在第二個鏈接中，您提到了它： 「地圖的正確的平行度似乎大約是每節點10-100個地圖」節點在這裏意味着NameNode或DataNode？ 當談論Mappers時，有些人說分裂的數量是相同的，另一個說的是相同數量的區塊，而另外一些人說這是由框架決定的，可能不會給出確切數量的分裂或區塊，那麼從上面來看是正確的呢？ –