数据系统概论 该存储库包含一组有关巴黎南硕士课程的Data Lake课程的演示文稿和动手教程。 我决定打开此模块的内容以： 使任何想要学习数据工程的人都可以使用它 通过公开和开放供稿来提高模块的质量 内容 简报： 涵盖： 什么是大数据 从DataWarehouse到Data Lake 数据处理架构： Lambda架构和kappa架构 HDFS的设计目标和概念 HDFS中的数据操作说明数据存储格式简介： avro ， orc和parquet 数据整合问题 什么是write ahead l

首先我们来看一个典型的互联网大数据平台的架构，如下图所示：在这张架构图中，大数据平台里面向用户的在线业务处理组件用褐色标示出来，这部分是属于互联网在线应用的部分，其他蓝色的部分属于大数据相关组件，使用开源大数据产品或者自己开发相关大数据组件。你可以看到，大数据平台由上到下，可分为三个部分：数据采集、数据处理、数据输出与展示。将应用程序产生的数据和日志等同步到大数据系统中，由于数据源不同，这里的数据同步系统实际上是多个相关系统的组合。数据库同步通常用Sqoop，日志同步可以选择Flume，打点采集

首先我们来看一个典型的互联网大数据平台的架构，如下图所示：在这张架构图中，大数据平台里面向用户的在线业务处理组件用褐色标示出来，这部分是属于互联网在线应用的部分，其他蓝色的部分属于大数据相关组件，使用开源大数据产品或者自己开发相关大数据组件。你可以看到，大数据平台由上到下，可分为三个部分：数据采集、数据处理、数据输出与展示。将应用程序产生的数据和日志等同步到大数据系统中，由于数据源不同，这里的数据同步系统实际上是多个相关系统的组合。数据库同步通常用 Sqoop，日志同步可以选择Flume，打点采