Hadoop中輸入拆分的默認大小

Hadoop中輸入拆分的默認大小是多少？據我所知，塊的默認大小是64 MB。在Hadoop jar中是否有任何文件可以看到所有這些東西的默認值？像默認複製因子等，就像Hadoop中的任何默認值一樣。Hadoop中輸入拆分的默認大小

2016-01-23 Mohit Jain

請記住這兩個參數：mapreduce.input.fileinputformat.split.minsize和mapreduce.input.fileinputformat.split.maxsize。我將這些分別稱爲minSize，maxSize。默認情況下，minSize是1個字節，maxSize是Long.MAX_VALUE。塊大小可以是64MB或128MB或更多。 MAX（minSize屬性，分鐘（MAXSIZE，BLOCKSIZE）

禮貌：：Hadoop的：

輸入分割大小由這樣的式運行期間計算。權威指南

來源

2016-01-26 06:54:51 Marco99

是的，您可以在hadoop etc/conf文件夾中看到所有這些配置。
有多種文件：core-default.xml，hdfs-default.xml，yarn-default.xml和mapred-default.xml。
它包含hadoop集羣的所有默認配置，它也可以被覆蓋。您可以參考以下鏈接：
https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml
https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

而且，如果你還沒有在地圖任何輸入分流大小定義/縮小程序則默認HDFS塊分割將被視爲輸入分離。

來源

2016-01-23 17:42:13

嗨，感謝那麼，什麼是默認輸入分割大小？我在這些文件中找不到。 –

更新了答案。希望它對你有所幫助 –

當你沒有明確指定時，你能給我一個參考嗎？輸入拆分大小，那麼默認的HDFS塊拆分將被視爲輸入拆分？ –

Hadoop中輸入拆分的默認大小

回答

相關問題