该项目主要包括的模块有：从实时框架的项目搭建、日志保存、日志服务器集群、NGINX配置、消费kafka、利用redis进行去重、es安装说明保存查询总数与查询时分、采用canal通过kafka发送，查询es接口，最后，我们在hive导出到es，并采用es部分数据查询出来