Hadoop的2.6和2.7的Apache Terasort在500GB或1TB

Question

當運行一張地圖，當減速開始從0到100，沒有云：

15/05/12 07:21:27 INFO terasort.TeraSort: starting 
15/05/12 07:21:27 WARN util.NativeCodeLoader: Unable to load native-hadoop  library for your platform... using builtin-java classes where applicable 
15/05/12 07:21:29 INFO input.FileInputFormat: Total input paths to process : 18000 

Spent 1514ms computing base-splits. 
Spent 109ms computing TeraScheduler splits. 
Computing input splits took 1624ms 
Sampling 10 splits of 18000 
Making 1 from 100000 sampled records 
Computing parititions took 315ms 
Spent 1941ms computing partitions. 
15/05/12 07:21:30 INFO client.RMProxy: Connecting to ResourceManager at n1/192.168.2.1:8032 
15/05/12 07:21:31 INFO mapreduce.JobSubmitter: number of splits:18000 
15/05/12 07:21:31 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1431389162125_0001 
15/05/12 07:21:31 INFO impl.YarnClientImpl: Submitted application application_1431389162125_0001 
15/05/12 07:21:31 INFO mapreduce.Job: The url to track the job: http://n1:8088/proxy/application_1431389162125_0001/ 
15/05/12 07:21:31 INFO mapreduce.Job: Running job: job_1431389162125_0001 
15/05/12 07:21:37 INFO mapreduce.Job: Job job_1431389162125_0001 running in uber mode : false 
15/05/12 07:21:37 INFO mapreduce.Job: map 0% reduce 0% 
15/05/12 07:21:47 INFO mapreduce.Job: map 1% reduce 0% 
15/05/12 07:22:01 INFO mapreduce.Job: map 2% reduce 0% 
15/05/12 07:22:13 INFO mapreduce.Job: map 3% reduce 0% 
15/05/12 07:22:25 INFO mapreduce.Job: map 4% reduce 0% 
15/05/12 07:22:38 INFO mapreduce.Job: map 5% reduce 0% 
15/05/12 07:22:50 INFO mapreduce.Job: map 6% reduce 0% 
15/05/12 07:23:02 INFO mapreduce.Job: map 7% reduce 0% 
15/05/12 07:23:15 INFO mapreduce.Job: map 8% reduce 0% 
15/05/12 07:23:27 INFO mapreduce.Job: map 9% reduce 0% 
15/05/12 07:23:40 INFO mapreduce.Job: map 10% reduce 0% 
15/05/12 07:23:52 INFO mapreduce.Job: map 11% reduce 0% 
15/05/12 07:24:02 INFO mapreduce.Job: map 100% reduce 100% 
15/05/12 07:24:06 INFO mapreduce.Job: Job job_1431389162125_0001 failed with state FAILED due to: Task failed task_1431389162125_0001_r_000000 
Job failed as tasks failed. failedMaps:0 failedReduces:1 

這是默認的配置和失敗每次。

我插入到XML中的任何配置我註釋出來找到這個問題，但我仍然有問題的工作失敗只有在開始減少。

Answer 1

紗線可以處理資源管理，並且可以處理可以使用MapReduce和實時工作負載的批處理工作負載。

存儲器設置可以在紗線容器級別以及映射器和減速器級別進行設置。內存以紗線容器大小的增量請求。 Mapper和Reducer任務在容器中運行。

mapreduce.map.memory.mb and mapreduce.reduce.memory.mb 

上述參數描述上內存限制的地圖簡任務，並且如果存儲器通過此任務訂閱超過這個限制，相應的容器就會被殺死。

這些參數決定可以分別分配給映射器和減少任務的最大內存量。讓我們看一個例子：映射器受配置參數mapreduce.map.memory.mb中定義的內存上限限制。

但是，如果yarn.scheduler.minimum-allocation-mb的值大於mapreduce.map.memory.mb的值，那麼yarn.scheduler.minimum-allocation-mb將受到尊重，並且容器那大小被髮布了。

該參數需要仔細設置，如果設置不當，可能會導致性能不佳或OutOfMemory錯誤。

mapreduce.reduce.java.opts and mapreduce.map.java.opts 

該屬性值必須小於上限地圖/降低的任務，因爲在mapreduce.map.memory.mb/mapreduce.reduce.memory.mb定義，因爲它應該分配的內存中裝配用於map/reduce任務。