如何在hadoop中設置地圖塊大小？

我知道hadoop中塊的默認大小是64 MB。我想改變它。我怎樣才能做到這一點？由於如何在hadoop中設置地圖塊大小？

2016-11-13 saeednasehi

在Hadoop的版本1.0默認大小爲64MB和在2.0版的默認大小是128MB。但是如果你想改變塊大小然後去HDFS-site.xml中文件，並添加以下屬性

<property> 
    <name>dfs.block.size<name> 
    <value>134217728<value> 
    <description>Block size<description> 
<property>

注：我們應該提到在bits.For例如大小：134217728位= 128 MB。

如需進一步查詢，然後去這個鏈接（額外）

Change Block size of existing files in Hadoop

來源

2016-11-13 10:44:39

有兩個參數dfs.block.size（過時，新的一個是dfs.blocksize）和mapred.max.split.size（過時，新的參數是mapreduce.input.fileinputformat.split.maxsize）。當您運行的MapReduce程序，不給任何價值mapred.max.split.size它採用默認dfs.block.size但您可以配置的價值和控制映射器的數量（但必須是謹慎的表現尤其是當分割大小超過塊大小時，映射器通過網絡尋找數據，因爲數據塊將分佈在節點上）。

如果您確實想要控制地圖塊大小，那麼最好對每個mapreduce程序執行此操作，而不要將dfs.block.size設置爲全局參數，並將所有文件存儲在hdfs中。非常詳細地大約相同的

此鏈接會談 - Split size vs Block size in Hadoop

來源

2016-11-15 03:50:44

Hadoop的1.x中：DFS塊的默認大小爲64 MB

的Hadoop 2.x的：DFS塊的默認大小爲128 MB。

有從官方網站看看hdfs-default.xml。

dfs.blocksize

的默認塊大小爲新文件，以字節爲單位。可以使用下面的後綴（不區分大小寫）：K（公斤），M（兆），G（千兆），T（TERA）中，p（PETA），E（EXA），以指定的大小（如128K，512M ，1G，等），或者以字節爲單位提供完整的大小（如134217728爲128 MB）

來源

2016-11-15 17:22:09

如何在hadoop中設置地圖塊大小？

回答

相關問題