hadoop mapreduce如何在雲中工作？

Question

我開始研究hadoop mapreduce。

我是初學者到Java & hadoop，知道hadoop mapreduce的編碼，但有興趣瞭解它如何在雲內部工作。
你能分享一些解釋hadoop如何在內部工作的好鏈接嗎？

Answer 1

Hadoop如何與雲無關。它在3檯筆記本電腦中以相同的方式工作;-) Hadoop通常與雲計算「鏈接」，因爲它旨在與許多便宜的機器一起使用，所以在雲中運行Hadoop是有道理的。

順便說一句，Hadoop不僅僅是map/reduce。它首先是一個分佈式文件系統，我們能夠在分佈式文件上執行分佈式任務。而不僅僅是map/reduce任務（從我認爲的第2版開始）。

這是一個非常大的課題。所以，如果你開始，你將不得不閱讀許多文章才能成爲主人;-)

我的建議。先來說一下關於MapReduce的文章：

• http://www-01.ibm.com/software/data/infosphere/hadoop/mapreduce/（短）
• https://developer.yahoo.com/hadoop/tutorial/module4.html（長）

然後查找有關的Hadoop架構的文章（文件系統，然後YARN）

• http://hadoop.apache.org/docs/r2.7.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html
• http://hadoop.apache.org/docs/r2.7.0/hadoop-yarn/hadoop-yarn-site/YARN.html

你也應該看看slideshare。