winlogbeat收集windows日志并通过logstash传到elasticsearch

winlogbeat监听windows日志到kafka,查询kafka里面的topic数据,以及从kafka中接入数据到hdfs、logstash不同层级取数据,过滤message.

① ElasticSearch 搜索引擎,存储数据 　　ElasticSearch 是一个基于Lucene的搜索引擎，提供索引，搜索功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便 ② Logstash 接收,处理,转发日志的工具 　　Logstash 是一个开源的服务器端数据处理

Beats是一个用Go编写的轻型，一次性使用的数据托运平台。它从成百上千的机器和系统中捕获各种操作数据，并将其发送到Logstash或Elasticsearch。 Beats的重量轻，安装空间小，使用的系统资源有限，并且没有运行时依赖性。它包括：Auditbeat（用于审计数据），Filebeat（用于日志文件），Functionbeat（无服务器的发件人），Heartbeat（用于运行时间监视），Metricbeat（用于度量），Packetbeat（用于监视网络数据）和Winlogbeat