Flume包含三部分
Source:从哪收集,一般使用:avro(序列化),exec(命令行),spooling(目录),taildir(目录和文件,包含offset,不会数据丢失),kafka
Channel:数据存哪里:(memory,kafka,file)
Sink:数据输出到哪里:(hdfs,logger,avro,kafka)
Flume环境配置
配置jdk
cd $FLUME_HOME/conf
cp flume-env.sh.template flume-env.sh
vi flu