文件名称:
新闻日志大数据分析及可视化系统的设计与实现.doc
开发工具:
文件大小: 2mb
下载次数: 0
上传时间: 2020-08-15
详细说明：每天都有着大量的用户关注各类新闻，特别是随着各种网络通信技术的发展，网络应用的普及使得每时每刻都有着大量的人们通过网络进行各类新闻的搜索，产生海量的日志数据。过去使用单机的方式通过 MySQL数据库对这些数据进行存储，但是积累下来的用户日志数据量达到了一定的级别，当一台电脑无法存储这么庞大的数据时，就产生了海量数据的存储问题。如果使用网络文件系统对数据进行分开存储，那么就无法对大量的实时和离线数据进行分析处理，处理结果也无法以一种更加直观的方式进行展示。
为了解决海量新闻日志数据的存储问题，在新闻业务中得到实时的用户搜索内容的排行并进行可视化显示，得到公众关注的重点，从而达到针对用户关注的重点进行推送、广告的投放、及时消除不良的用户等目的。本文在对以上需求进行调研后，通过Flume日志收集系统对各个服务器中的日志文件进行读取合并，并将数据划分成离线流数据和实时流数据两条路线。离线数据通过Hadoop集群处理、存储，通过Hive完成离线数据处理和分析，并最终通过Hue实现对用户的可视化展示。实时流数据通过Kafka消息队列临时存储，并通过Spark流处理，最终将结果存放在 MySQL数据库中，通过Java程序获取，最终通过Echarts插件在前端对实时数据进行展示。
本文讲述了系统研究的背景、目的和意义。对系统所使用到的相关技术的原理进行了介绍；对系统进行了总体的需求分析并且按照系统实现的功能划分了相关模块；在进行了需求分析后，对系统进行了具体的硬件平台构建以及各个功能模块设计实现，最终完成对用户搜索日志数据的结构化处理和可视化展示。
最后对课题工作进行了总结，并分析了未来系统中可改进的地方。
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
