Hadoop的MapReduce的工作机制剖析

?

安装完hadoop之后我们肯定第一个就要先跑跑Wordcount的实例，这个实例的运行机制就是MapReduce.什么叫MapReduce呢，你可以把他分为Map和Reduce两个过程。

Mapper?

nMap-reduce的思想就是“分而治之”?

nMapper负责“分”，即把复杂的任务分解为若干个“简单的任务”执行?

n“简单的任务”有几个含义：1?数据或计算规模相对于原任务要大大缩小；2?就近计算，即会被分配到存放了所需数据的节点进行计算；3?这些小任务可以并行计算，彼此间几乎没有依赖关系?

Reducer?

n对map阶段的结果进行汇总?

nReducer的数目由mapred-site.xml配置文件里的项目mapred.reduce.tasks决定。缺省值为1，用户可以覆盖之?

接下来我们看看MapReduce的运行图

?

?

这个图有十个步骤，代表了MapReduce的运行机制