注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. 基于Hadoop的网络日志分析系统研究

  2. 查看网络日志是调查系统故障 监控系统运行状况的重要手段 管理员可以查看在某段时间内所发生的事件 也可以通过对 各个日志文件进行分析获取知识 由于日志具有数据量大 不易读懂的特点 如果仅凭借管理员查看日志记录的手段 其中所蕴含 的有用信息也难以发现 分布式计算技术正好可以用来解决这一难题 阐述了 syslog 日志收集流程 详细介绍了 Hadoop 分布式计 算框架 设计并实现了一套基于 Hadoop 的网络日志分析系统 实验证明该系统是有效而实用的

  3. 所属分类：其它

    • 发布日期：2012-03-22
    • 文件大小：830464
    • 提供者：kaohangdian

  1. hadoop的网络安全日志分析系统的设计与实现

  2. hadoop的网络安全非常重要，给文详细阐述了它的日志系统的设计，并实现相关功能

  3. 所属分类：IT管理

    • 发布日期：2012-04-25
    • 文件大小：1039360
    • 提供者：juxie1984

  1. 基于Hadoop的网络日志分析系统研究

  2. 一个用hadoop架构来实现日志分析的文章，很好

  3. 所属分类：其它

    • 发布日期：2012-12-14
    • 文件大小：830464
    • 提供者：xiaowoxiaoniu

  1. 高可用性的HDFS：Hadoop分布式文件系统深度实践

  2. 第1章 HDFS HA及解决方案 1.1 HDFS系统架构 1.2 HA定义 1.3 HDFS HA原因分析及应对措施 1.3.1 可靠性 1.3.2 可维护性 1.4 现有HDFS HA解决方案 1.4.1 Hadoop的元数据备份方案 1.4.2 Hadoop的SecondaryNameNode方案 1.4.3 Hadoop的Checkpoint ode方案 1.4.4 Hadoop的BackupNode方案 1.4.5 DRDB方案 1.4.6 FaceBook的AvatarNode方案

  3. 所属分类：群集服务

    • 发布日期：2014-05-15
    • 文件大小：6291456
    • 提供者：ysjian_pingcx

  1. kafka系列文档

  2. Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。

  3. 所属分类：其它

    • 发布日期：2016-01-05
    • 文件大小：2097152
    • 提供者：bighai708

  1. Python示例-从基础到高手PDF

  2. 目录 第1章 Python 处理 cassandra 升级后的回滚脚本 第 2 章 多套方案来提高 python web 框架的并发处理能力 第 3 章 python 写报警程序中的声音实现 winsound 第 4 章 一个脚本讲述 python 语言的基础规范，适合初学者 第 5 章 python 计算文件的行数和读取某一行内容的实现方法 第 6 章 python 中用 string.maketrans 和 translate 巧妙替换字符串 第 7 章 python linecache

  3. 所属分类：Python

    • 发布日期：2017-10-25
    • 文件大小：10485760
    • 提供者：netghost1919

  1. 大数据网络日志数据分析样本

  2. 网络日志的样本，可用于hadoop进行分析联系，对于练习hive、mapreduce等，可以方便的作为原数据

  3. 所属分类：Hadoop

    • 发布日期：2018-03-10
    • 文件大小：1048576
    • 提供者：w_wei_1991

  1. 大型分布式网站架构与实践

  2. 第1章　面向服务的体系架构（SOA） 1 　　本章主要介绍和解决以下问题，这些也是全书的基础： 　　HTTP协议的工作方式与HTTP网络协议栈的结构。 　　如何实现基于HTTP协议和TCP协议的RPC调用，它们之间有何差别，分别适应何种场景。 　　如何实现服务的动态注册和路由，以及软负载均衡的实现。 　　1.1　基于TCP协议的RPC 3 　　1.1.1　RPC名词解释 3 　　1.1.2　对象的序列化 4 　　1.1.3　基于TCP协议实现RPC 6 　　1.2　基于HTTP协议的RPC 9

  3. 所属分类：Java

    • 发布日期：2018-08-24
    • 文件大小：96468992
    • 提供者：mr_hope

  1. 分布式论文

  2. 目前基于 Hadoop 的日志分析已难以满足当前日志实时分析和监控的需求。本文针对这种需求研发了一种基于实 时流计算引擎的分布式服务监控中心解决方案，实现了对集群的监控和管理。以实时流计算引擎 spark 为分析平台，采用 Spark 中用于构建数据仓库的数据查询工具 Spark Sql 对原生 RDD 对象进行关系查询，并实现对海量日志数据进行分析处 理，用以解决网络负载和服务器压力。该方案提供一种高吞吐量的基于内存计算的集群计算监控方法，能够应用于大规模 分布式系统的 bug 检查和风险控

  3. 所属分类：spark

    • 发布日期：2018-09-30
    • 文件大小：4194304
    • 提供者：weixin_38907570

  1. 2017最新大数据架构师精英课程

  2. 本资源为大数据基础到中高级教学资源，适合稍微有点大数据或者java基础的人群学习，资源过大，上传乃是下载链接，不多说，上目录： 1_java基础2 l3 a2 a$ t7 J2 b+ `- p 2_java引入ide-eclipse 3_java基础知识-循环-类型转换 4_循环-函数-数组-重载 5_多为数组-冒泡-折半-选择排序 6_oop-封装-继承-static-final-private 7_多态-接口-异常体系 8_适配器/ k% N! Y7 j/ |- c) O5 M' V6 S

  3. 所属分类：Java

  1. kafka的安装部署(实战)

  2. Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

  3. 所属分类：kafka

    • 发布日期：2019-04-26
    • 文件大小：8192
    • 提供者：qq_26360849

  1. 基于流式计算的电信实时营销系统设计与实现.caj

  2. 在移动互联网时代,各式各样的新业务和新产品不断出现,通信市场的用户总体规模增长速度变缓,使运营商之间的竞争愈加激烈,新产品营销的时效性和准确度问题亟需解决。实时营销作为新的营销方式,具有较高的实时性,通过运用大数据分析技术分析用户上网行为特征,并在合适的时间、合适的地点向用户推荐合适的内容,从而提升用户感知、增加用户粘性。如何运用大数据技术实现实时营销是本文的重要内容。本文深入调研分析了大数据实时流式处理技术,并结合其在满足非功能性需求方面的独特优势,设计了一个可以同时满足大数据存储、大数据实时

  3. 所属分类：spark

    • 发布日期：2019-10-20
    • 文件大小：3145728
    • 提供者：weixin_41045909

  1. 新闻日志大数据分析及可视化系统的设计与实现.doc

  2. 每天都有着大量的用户关注各类新闻，特别是随着各种网络通信技术的发展，网络应用的普及使得每时每刻都有着大量的人们通过网络进行各类新闻的搜索，产生海量的日志数据。过去使用单机的方式通过 MySQL数据库对这些数据进行存储，但是积累下来的用户日志数据量达到了一定的级别，当一台电脑无法存储这么庞大的数据时，就产生了海量数据的存储问题。如果使用网络文件系统对数据进行分开存储，那么就无法对大量的实时和离线数据进行分析处理，处理结果也无法以一种更加直观的方式进行展示。 为了解决海量新闻日志数据的存储问题，在新

  3. 所属分类：互联网

    • 发布日期：2020-08-15
    • 文件大小：2097152
    • 提供者：beans9

  1. TitanDataOperationSystem:《 Titan数据运营系统》，本项目是一个全栈闭环系统，我们有利用数据可视化的网络系统，然后用flume-kafaka-flume进行日志的读取，在蜂巢设计数仓，编写spark代码进行数仓表

  2. Titan数据操作系统 概览 《 Titan数据运营系统》，本项目所适用的行业或业务背景有：主营业务在线上（app /网站）进行的公司！操作行为进行统计分析，数据挖掘！以支撑公司的业务运营，精准形象营销，个性化推荐等，来提高业务转化率，改善公司运营效果！ ！ 本项目是一个全栈闭环系统，我们先用flume-kafaka-flume对埋点日志服务器中日志进行读取，然后将日志放到我们的hdfs，然后在hive设计数仓，编写spark代码进行数仓表之间的转换以及ads层表到mysql的迁移，之后使用az

  3. 所属分类：其它

    • 发布日期：2021-03-11
    • 文件大小：117440512
    • 提供者：weixin_42100188

  1. 6个用于大数据分析的最好工具

  2. 大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型电子商务。在大数据和大数据分析，他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。Hadoop是一个能

  3. 所属分类：其它

    • 发布日期：2021-03-02
    • 文件大小：198656
    • 提供者：weixin_38727694

  1. 6个用于大数据处理分析的最好工具

  2. 大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型电子商务。在大数据和大数据分析，他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。Hadoop是一个能

  3. 所属分类：其它

    • 发布日期：2021-02-25
    • 文件大小：195584
    • 提供者：weixin_38734492

  1. 6个用于大数据分析的最好工具

  2. 大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型电子商务。在大数据和大数据分析，他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。Hadoop是一个能

  3. 所属分类：其它

    • 发布日期：2021-02-03
    • 文件大小：198656
    • 提供者：weixin_38618312

  1. 6个用于大数据处理分析的最好工具

  2. 大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型电子商务。在大数据和大数据分析，他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。Hadoop是一个能

  3. 所属分类：其它

    • 发布日期：2021-02-01
    • 文件大小：195584
    • 提供者：weixin_38674616

  1. 百度是如何使用hadoop的？

  2. 百度作为全球最大的中文搜索引擎公司，提供基于搜索引擎的各种产品，几乎覆盖了中文网络世界中所有的搜索需求,因此，百度对海量数据处理的要求是比较高的， 要在线下对数据进行分析，还要在规定的时间内处理完并反馈到平台上。百度在互联网领域的平台需求要通过性能较好的云平台进行处理了，Hadoop就是很好 的选择。在百度，Hadoop主要应用于以下几个方面：·日志的存储和统计;·网页数据的分析和挖掘;·商业分析，如用户的行为和广告关注度等;·在线数据的反馈，及时得到在线广告

  3. 所属分类：其它

    • 发布日期：2021-01-27
    • 文件大小：103424
    • 提供者：weixin_38698863

  1. 基于SQL-on-Hadoop的网络日志分析

  2. 摘 要：当今网络带宽、设备和应用数量急剧扩张，日志管理面临数据量爆炸式增长的挑战。基于SQL-on-Hadoop构建网络日志分析平台，实现千亿级日志存储和高效、灵活查询。利用真实TB 级数据集对多种 Hadoop 列存储格式及压缩算法进行性能测试，并对比Hive和Impala引擎日志扫描及统计查询效率，选用Gzip压缩的Parquet格式可将日志体积压缩80%，且将Impala查询性能提升至5倍。基于该平台已开发6种安全事件响应、攻击检测和预警应用并发挥良好效果。

  3. 所属分类：其它

    • 发布日期：2021-01-14
    • 文件大小：365568
    • 提供者：weixin_38672940
« 12 3 »