Hadoop应用开发实战详解源代码 　第4章　初识MapReduce 　　4.1　MapReduce简介　 　　　4.1.1　MapReduce要解决什么问题　 　　　4.1.2　MapReduce的理论基础　 　　　4.1.3　MapReduce的编程模式　 　　4.2　MapReduce的集群行为　 　　4.3　Map/Reduce框架　 　　4.4　样例分析：单词计数　 　　　4.4.1　WordCount实例的运行过程　 　　　4.4.2　WordCount的源码分析和程序处理过程　

本节介绍如何编写基本的 MapReduce 程序实现数据分析。本节代码是基于 Hadoop 2.7.3 开发的。 任务准备 单词计数（WordCount）的任务是对一组输入文档中的单词进行分别计数。假设文件的量比较大，每个文档又包含大量的单词，则无法使用传统的线性程序进行处理，而这类问题正是 MapReduce 可以发挥优势的地方。 在前面《MapReduce实例分析：单词计数》教程中已经介绍了用 MapReduce 实现单词计数的基本思路和具体执行过程。下面将介绍如何编写具体实现代码及如何运

单词计数是最简单也是最能体现 MapReduce 思想的程序之一，可以称为 MapReduce 版“Hello World”。单词计数的主要功能是统计一系列文本文件中每个单词出现的次数。本节通过单词计数实例来阐述采用 MapReduce 解决实际问题的基本思路和具体实现过程。 设计思路 首先，检查单词计数是否可以使用 MapReduce 进行处理。因为在单词计数程序任务中，不同单词的出现次数之间不存在相关性，相互独立，所以，可以把不同的单词分发给不同的机器进行并行处理。因此，可以采用 MapR