课程简介: 某购物电商网站数据分析平台，分为收集数据、数据分析和数据展示三大层面。其中数据分析主要依据大数据Hadoop生态系统常用组件进行处理，此项目真实的展现了大数据在企业中实际应用。 课程内容 （1）文件收集框架 Flume ①Flume 设计架构、原理（三大组件） ②Flume 初步使用，实时采集数据 ③实际案例：使用Flume监控数据，实时收集存储HDFS中 （2）大数据分析平台架构 ①数据平台三大模块 让技术产生价值! ②分析平台业务数据 ③大数据平台技术选型和搭建配置测试 （3）

flume agent收集数据 一个源对于两个sink 同时输出到hdfs和kafka 的配置文件，注意其中的 source绑定channel时候 channel1 channel2 不能分开写，该配置文件已经过集群实验成功收集到数据的

flume配置文件，文件配了说明，可以拿下来改一改就用。 可以获取端口数据监听或者文件、文件夹内容监听，实时写入hdfs、mysql或者你需要的路径。

采集目录到 HDFS **采集需求：**服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到 HDFS 中去 根据需求，首先定义以下 3 大要素  采集源，即 source——监控文件目录 : spooldir  下沉目标，即 sink——HDFS 文件系统: hdfs sink  source 和 sink 之间的传递通道——channel，可用 file channel 也可以用内存 channel 配置文件编写： # Name the components

风暴统计 基于flume-kafka-storm的流式实时计算实现的案例 1.在Windows平台上构建flume架构，修改属性文件：配置agent数据源，配置kafka topic名称 2.配置kafka 3.ide开发工具上构建拓扑，单机运行可以不用安装storm，分散则需要进行额外的配置