随着这些年大数据的飞速发展，也出现了不少计算的框架（Hadoop、Storm、Spark、Flink）。在网上有人将大数据计算引擎的发展分为四个阶段。第一代：Hadoop承载的MapReduce第二代：支持DAG（有向无环图）框架的计算引擎Tez和Oozie，主要还是批处理任务第三代：支持Job内部的DAG（有向无环图），以Spark为代表第四代：大数据统一计算引擎，包括流处理、批处理、AI、MachineLearning、图计算等，以Flink为代表或许会有人不同意以上的分类，我觉得其实这并不

随着这些年大数据的飞速发展，也出现了不少计算的框架（Hadoop、Storm、Spark、Flink）。在网上有人将大数据计算引擎的发展分为四个阶段。

前言 随着这些年大数据的飞速发展，也出现了不少计算的框架（Hadoop、Storm、Spark、Flink）。在网上有人将大数据计算引擎的发展分为四个阶段。 第一代：Hadoop 承载的 MapReduce 第二代：支持 DAG（有向无环图）框架的计算引擎 Tez 和 Oozie，主要还是批处理任务 第三代：支持 Job 内部的 DAG（有向无环图），以 Spark 为代表 第四代：大数据统一计算引擎，包括流处理、批处理、AI、Machine Learning、图计算等，以 Flink 为代表