文章目录一、MapReduce跑得慢的原因二、MapReduce优化方法（一）数据输入（二）Map阶段（三）Reduce阶段（四）I/O阶段（五）数据倾斜问题（六）常用的调优参数三、HDFS小文件优化方法 一、MapReduce跑得慢的原因 MapReduce程序效率的瓶颈在于两点： 计算机性能 CPU、内存、磁盘健康、网络。 I/O操作优化 （1）数据倾斜 （2）Map和Reduce数量设置不合理 （3）Map运行时间太长，导致Reduce等待过久 （4）小文件过多 （5）大量不可分块的超大文