2011-09-24 63 views
2

我有點困惑,在Hadoop集羣設置中的「Real-World Cluster Configurations」部分中,給出了一個例子,其中像io.sort.mb & io.sort.factor這樣的屬性位於core-site.xml中。但在默認的配置文件中這些屬性出現在mapred-site.xml !!!哪一個我應該遵循?我可以隨意放在任何地方嗎?如果是,那麼三個配置文件(核心,mapred和hdfs .xml)有什麼區別?Hadoop中「io.sort.mb」的正確位置?

有所有可能的屬性任何完整列表?

任何幫助深表感謝..

編輯:試驗和錯誤,我發現io.sort.mb屬於mapred-site.xml中。

回答

1

core-default.html hdfs-default.html mapred-default.html具有所有屬性及其默認值。

按照'Hadoop : The Definitive Guide'

芯-site.xml中具有 'Hadoop的核心配置設置,如通用於HDFS和MapReduce I/O設置'。

hdfs-site.xml有'HDFS守護進程的配置設置:名稱節點,輔助名稱節點和數據節點。'

mapred-site.xml有'MapReduce守護進程的配置設置:jobtracker和tasktrackers'。

查找有關配置文件here更多信息。

+0

感謝Praveen,其實文件名是在告訴每一件事情,但是我的困惑來自I/O設置應該位於核心站點(這對我來說是第一個鏈接)和事件同時在mapred-default.xml中!!!這違背了他們的名字所暗示的意思。在ADITION到默認的文件並不包含所有的屬性..你可以舉個例子:mapred.map.child.java.opts – Ahmed

+0

試驗和錯誤,我發現io.sort.mb屬於mapred-site.xml中。 – Ahmed