Hadoop在單節點集羣上運行排序示例

我想在Hadoop單節點集羣上運行排序示例。首先，我開始守護程序：Hadoop在單節點集羣上運行排序示例

[email protected]:/home/user/hadoop$ bin/start-all.sh

然後我跑了隨機作家例如生成順序文件作爲輸入文件。

[email protected]:/home/user/hadoop$ bin/hadoop jar hadoop-*-examples.jar randomwriter rand

Hadoop的@ Ubuntu的：/ home/user中/ Hadoop的$斌/ Hadoop的罐子的hadoop - * - examples.jar randomwriter蘭特

運行0地圖。

Job started: Thu Mar 31 18:21:51 EEST 2011 
11/03/31 18:21:52 INFO mapred.JobClient: Running job: job_201103311816_0001 
11/03/31 18:21:53 INFO mapred.JobClient: map 0% reduce 0% 
11/03/31 18:22:01 INFO mapred.JobClient: Job complete: job_201103311816_0001 
11/03/31 18:22:01 INFO mapred.JobClient: Counters: 0 
Job ended: Thu Mar 31 18:22:01 EEST 2011

這項工作耗時9秒。

[email protected]:/home/user/hadoop$ bin/hadoop jar hadoop-*-examples.jar sort rand rand-sort

1個節點運行排序從hdfs://localhost:54310/user/hadoop/rand成

hdfs://localhost:54310/user/hadoop/rand-sort 1降低。

Job started: Thu Mar 31 18:25:19 EEST 2011 
11/03/31 18:25:20 INFO mapred.FileInputFormat: Total input paths to process : 0 
11/03/31 18:25:20 INFO mapred.JobClient: Running job: job_201103311816_0002 
11/03/31 18:25:21 INFO mapred.JobClient: map 0% reduce 0% 
11/03/31 18:25:32 INFO mapred.JobClient: map 0% reduce 100% 
11/03/31 18:25:34 INFO mapred.JobClient: Job complete: job_201103311816_0002 
11/03/31 18:25:34 INFO mapred.JobClient: Counters: 9 
11/03/31 18:25:34 INFO mapred.JobClient: Job Counters 
11/03/31 18:25:34 INFO mapred.JobClient:  Launched reduce tasks=1 
11/03/31 18:25:34 INFO mapred.JobClient: FileSystemCounters 
11/03/31 18:25:34 INFO mapred.JobClient:  HDFS_BYTES_WRITTEN=96 
11/03/31 18:25:34 INFO mapred.JobClient: Map-Reduce Framework 
11/03/31 18:25:34 INFO mapred.JobClient:  Reduce input groups=0 
11/03/31 18:25:34 INFO mapred.JobClient:  Combine output records=0 
11/03/31 18:25:34 INFO mapred.JobClient:  Reduce shuffle bytes=0 
11/03/31 18:25:34 INFO mapred.JobClient:  Reduce output records=0 
11/03/31 18:25:34 INFO mapred.JobClient:  Spilled Records=0 
11/03/31 18:25:34 INFO mapred.JobClient:  Combine input records=0 
11/03/31 18:25:34 INFO mapred.JobClient:  Reduce input records=0 
Job ended: Thu Mar 31 18:25:34 EEST 2011

工作耗時14秒。

[email protected]:/home/user/hadoop$ bin/hadoop dfs -cat rand-sort/part-00000

SEQ＃「org.apache.hadoop.io.BytesWritable」 org.apache.hadoop.io.BytesWritablej「我& 9＃

我是新來的Hadoop。我所做的一切都是正確的，還是我做錯了什麼？我的問題是，我怎麼看到randomwritewr生成的數據和排序示例中的結果是正確的？我從哪裏可以看到它們？

來源

2011-04-05 pr_prog_84

的問題是，你的TaskTracker是不是你嘗試運行作業的時間啓動時，它不會立即啓動。您可以運行bin/hadoop job -list-active-trackers來查看tasktracker是否啓動，可能需要一些時間才能完成。沒有tasktracker =沒有節點來映射編寫器。

來源

2011-06-16 17:22:35 hadoopinator

11/03/31 18:25:20 INFO mapred.FileInputFormat: Total input paths to process : 0

沒有輸入，你必須提供一個工作必須期待他的輸入文件的路徑。似乎RandomWriter也沒有輸入，你必須爲每個工作提供輸入，否則什麼都不會啓動。

RandomWriter @ Hadoop Wiki

來源

2011-04-05 16:38:54

看起來好像我有點卡住了......請給我一些正確的命令，以便問題得到解決嗎？ – 2011-04-05 16:54:03

btw非常感謝你！ – 2011-04-05 16:54:25

對不起，這裏有個很好的解釋： – 2011-04-09 08:51:41

Hadoop在單節點集羣上運行排序示例

回答

相關問題