鳗鱼 Eel是用于在hadoop生态系统中处理数据的工具包。 通过hadoop生态系统，我们指的是大数据世界通用的文件格式，例如HDFS或Hive表等位置中的镶木地板，兽人，csv。 与诸如或分布式批处理或流引擎相比，Eel是旨在直接在过程中使用的SDK。 与较高级别的引擎（例如Spark）相比，Eel是较低级别的API，适用于需要文件API之类的用例。 用例范例 从JDBC之类的源导入到Hive / HDFS之类的另一源 将多个文件（例如spark的输出）合并为一个文件 直接从您的过程中查询

在Spark SQL执行etl时候会有最终结果大小只有几百k，但是小文件一个分区有上千的情况。危害： HDFS有最大文件数限制 浪费磁盘资源（可能存在空文件） Hive中进行统计，计算的时候，会产生很多个map，影响计算的速度 方法一：通过spark的coalesce()方法和repartition()方法 val rdd2 = rdd1.coalesce(8, true) （true表示是否shuffle） val rdd3 = rdd1.repartition(8) 说明：   coale