hadoop map漏油大小和塊大小

我只是很好奇，爲什麼當塊大小爲128 MB時，hadoop map溢出大小是io.sort.mb是100 MB（默認值）。將它設置爲等於塊大小是否更有意義，因爲映射任務反正會處理那麼多數據？當然我明白，在這裏可以分配更多的RAM，但是還有什麼更多的嗎？hadoop map漏油大小和塊大小

io.sort.mb是對內存中的文件進行排序所需的緩衝區內存總量。作爲一個理想的經驗法則，它應該始終設置不超過總RAM的70％。塊大小基本上是關於在磁盤中設置文件塊大小。您可以很好地將輸入拆分與HDFS塊大小相關聯。

看一看這個帖子得到一個更好的主意

2016-05-17 05:17:15 shankarsh15

回答