注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. SaaS模式下大数据量统计框架的研究和实现

  2. 与传统软件相比, 在软件即为服务( SaaS) 模式下做大数据量统计需要应对海量数据和高并发 处理问题。针对实际SaaS 项目中大数据量统计框架的设计和实现, 研究如何解决大数据量实时统计的性能 瓶颈问题, 如何提高框架的可扩展性以应对多变的业务需求, 以及如何保障框架的健壮性。实际项目运行 表明设计的框架能处理SaaS 模式下的海量数据和高并发, 并能高效地实现统计数据的实时计算查询。

  3. 所属分类：专业指导

    • 发布日期：2013-06-12
    • 文件大小：105472
    • 提供者：my472360924

  1. 一种基于Hadoop的语义大数据分布式推理框架

  2. 随着语义万维网 sematic Web 和关联数据集项目 1inked data project 的不断发展 各领域的语义数据正在大规模扩增．同时 这些大规模语义数据之间存在着复杂的语义关联性 这些关联信息的挖掘对于研究者来说有着重要的意义．为解决传统推理引擎在进行大规模语义数据推理时存在的计算性能和可扩展性不足等问题 提出了一种基于Hadoop的语义大数据分布式推理框架 并且设计了相应的基于属性链 property chain 的原型推理系统来高效地发现海量语义数据中潜在的有价值的信息．实验

  3. 所属分类：其它

    • 发布日期：2014-11-09
    • 文件大小：1048576
    • 提供者：jianxiaodanmomo

  1. 如何处理大数据量的查询

  2. 在实际的任何一个系统中，查询都是必不可少的一个功能，而查询设计的好坏又影响到系统的响应时间和性能这两个关键指标，尤其是当数据量变得越来越大时，于是如何处理大数据量的查询成了每个系统架构设计时都必须面对的问题。本文将从数据及数据查询的特点分析出发，结合讨论现有各种解决方案的优缺点及其适用范围，来阐述J2EE平台下如何进行查询框架的设计。

  3. 所属分类：Java

    • 发布日期：2016-01-19
    • 文件大小：80896
    • 提供者：qq_29583721

  1. 大数据Spark企业级实战版

  2. 《大数据Spark企业级实战》详细解析了企业级Spark开发所需的几乎所有技术内容，涵盖Spark的架构设计、Spark的集群搭建、Spark内核的解析、Spark SQL、MLLib、GraphX、Spark Streaming、Tachyon、SparkR、Spark多语言编程、Spark常见问题及调优等，并且结合Spark源码细致的解析了Spark内核和四大子框架，最后在附录中提供了的Spark的开发语言Scala快速入门实战内容，学习完此书即可胜任绝大多数的企业级Spark开发需要。

  3. 所属分类：spark

    • 发布日期：2017-10-12
    • 文件大小：145752064
    • 提供者：liusiqingsong

  1. 大数据Spark企业级实战版

  2. 《大数据Spark企业级实战》详细解析了企业级Spark开发所需的几乎所有技术内容，涵盖Spark的架构设计、Spark的集群搭建、Spark内核的解析、Spark SQL、MLLib、GraphX、Spark Streaming、Tachyon、SparkR、Spark多语言编程、Spark常见问题及调优等，并且结合Spark源码细致的解析了Spark内核和四大子框架，最后在附录中提供了的Spark的开发语言Scala快速入门实战内容，学习完此书即可胜任绝大多数的企业级Spark开发需要。

  3. 所属分类：spark

    • 发布日期：2018-03-23
    • 文件大小：118489088
    • 提供者：hfut_ustcinfo

  1. 大数据Spark企业级实战版 - 王家林

  2. 《大数据Spark企业级实战》详细解析了企业级Spark开发所需的几乎所有技术内容，涵盖Spark的架构设计、Spark的集群搭建、Spark内核的解析、Spark SQL、MLLib、GraphX、Spark Streaming、Tachyon、SparkR、Spark多语言编程、Spark常见问题及调优等，并且结合Spark源码细致的解析了Spark内核和四大子框架，最后在附录中提供了的Spark的开发语言Scala快速入门实战内容，学习完此书即可胜任绝大多数的企业级Spark开发需要。

  3. 所属分类：spark

    • 发布日期：2018-06-06
    • 文件大小：115343360
    • 提供者：wyl07122028

  1. 大数据环境下基于决策树的恶意URL检测模型

  2. 恶意网址URL检测一直是信息安全防御技术领域的研究热点之一。针对传统恶意URL检测技术无法自主探测未知URL,并且缺乏适应大数据时代发展的能力等问题,设计并实现了一种基于大数据技术,结合决策树算法与黑白名单技术的恶意URL检测模型。该模型基于Spark分布式计算框架,利用已知URL训练集提取特征、训练决策树分类模型,然后用已有分类模型对黑白名单无法检测出的URL进行分类预测,达到检测目的。实验证明,构建的检测模型具有很好的检测效果和稳定性。

  3. 所属分类：spark

    • 发布日期：2018-06-22
    • 文件大小：285696
    • 提供者：qq_28339273

  1. 一种基于Spark的大数据匿名化系统实现

  2. 分组匿名化框架是一类经典的数据匿名化技术,它通过构造匿名记录的组,使得同一组内的不同数据无法被识别区分,从而达到隐私防护的效果。电力行业大数据分析涉及电力企业核心数据、用户隐私数据,其数据敏感度更强,传统的数据匿名化系统已经无法满足电力行业大数据业务应用和安全防护的需要。基于此,设计并实现了一种基于Spark的新型大数据匿名化系统,提供对Hadoop平台上多种数据格式的支持,并有效提高对大数据的匿名化处理效率。

  3. 所属分类：spark

    • 发布日期：2018-06-22
    • 文件大小：804864
    • 提供者：qq_28339273

  1. 北京市政务大数据平台顶层设计框架及应用方案

  2. 北京市政务大数据平台顶层设计框架及应用方案，实用。

  3. 所属分类：算法与数据结构

    • 发布日期：2018-08-06
    • 文件大小：10485760
    • 提供者：weixin_42895545

  1. 我国促进大数据发展政策工具选择体系结构及其优化策略研究

  2. 探究我国为实现促进大数据发展的政策目标而构建的政策工具选择体系结构， 揭示大数据政策工具选择中存在的问题， 为优化我国促进大数据发展政策工具选择提供建议。 ［ 方法 /过程］ 构建由63 项聚焦大数据发展的政策文本构成的政策样本集， 运用内容分析法， 对样本集中包含的政策工具进行编码。建立包含基础资源维度、 技术维度和领域维度的政策工具选择三维分析框架， 通过编码映射， 建立其与政策工具编码的关联。从领域维度， 使用层次聚类分析法， 对样本政策文本进行聚类分析。［ 结果 /结论］ 政策工具编码

  3. 所属分类：算法与数据结构

    • 发布日期：2018-10-20
    • 文件大小：1048576
    • 提供者：zhuzhuxia1225

  1. 基于大数据平台构建数据仓库的研究与实践.pdf

  2. 数据仓库设计文档，帮助大家理解及如何设计数据仓库，很不错的一篇论文。专题 lTo 学习体系,能从海量数据中提炼高价值信息,构建自主 (1)源系统结构化数据:源系统按大数据平合的 训练与反馈、可不断从最新数据中调整演化的智能业务供数规范要求提供表数据文本和标志文件。 模型体系。 (2)文件交换区FSA:文件的交换中枢,含源系 以 Hadoop^ Spark为代表的大规模数据处理技术为统结构化数据和半结构化、非结构化数据(主要是外部 超越传统数据库的处理局限性提供了先进的并行计算和数据)。 资源调度

  3. 所属分类：其它

    • 发布日期：2019-07-16
    • 文件大小：1048576
    • 提供者：bucaixia08

  1. 山西省瓦斯抽采全覆盖智能管控大数据平台

  2. 针对当前山西省抽采相关数据零散、部分矿井抽采设计依据不充分、抽采钻孔设计过于单一或不合理的、抽采达标评判不规范、抽采计量与预抽效果分析不足等突出问题,提出了基于GIS二次开发建设山西省瓦斯抽采全覆盖管控大数据平台,形成瓦斯抽采信息有序管理、集中管控、数据共享的机制。首先进行瓦斯抽采全覆盖智能管控大数据平台建设的可行性研究,然后阐述大数据平台的设计思想、建设框架、动态数据库建设、瓦斯存量动态监测、"定制式"瓦斯抽采背景评估,"过程化"钻孔工程管控、"渐进式"抽采达标评判及管理运行模式等。

  3. 所属分类：其它

    • 发布日期：2020-05-18
    • 文件大小：210944
    • 提供者：weixin_38595243

  1. 基于区块链的数字资产管理系统框架设计与分析.pdf

  2. 企业大数据的管理与应用是数据驱动企业转型升级的先决条件。基于区块链的企业数字资产管理(Digital Asset Management)系统可以解决传统企业数字资产管理系统的诸多弊端,如版权纠纷、隐私泄露、数据丢失、恶意篡改、单点故障等。区块链技术作为一种分布式账本技术,通过加密算法、共识机制、多点维护等技术手段能够保证链上数据的可信赖性和可验证性,降低中心化管理模式带来的风险

  3. 所属分类：金融

    • 发布日期：2020-05-14
    • 文件大小：1048576
    • 提供者：shxflg

  1. 基于大数据的毕节市煤矿安全生产管理平台设计研究

  2. 介绍了国内外学者有关大数据应用于煤矿的研究成果及毕节市煤矿安全监管的严峻形势,为有效解决毕节市监管力量薄弱、不及时等问题,将大数据技术应用于毕节市煤矿安全生产监管,通过文献查询、专家咨询、实地调研、构建大数据管理系统模型、设计大数据管理系统总体框架等方法,设计了毕节市煤矿安全生产大数据管理平台,结果表明:大数据管理平台充分利用、整合毕节市390个煤矿现有监控系统海量数据,满足煤矿监控、智能分析、风险预警、智能决策、下达整改指令、闭环监督等管理需求,能适应煤矿安全生产监管的精细化、实时化、系统化管

  3. 所属分类：其它

    • 发布日期：2020-05-03
    • 文件大小：1048576
    • 提供者：weixin_38664532

  1. 大数据框架设计

  2. 大数据B/S架构软件的框架设计应用案例文档，适用于框架设计者

  3. 所属分类：专业指导

    • 发布日期：2019-07-03
    • 文件大小：141557760
    • 提供者：teddyjohnson

  1. 煤炭大数据研究及发展方向

  2. 介绍了煤炭大数据的来源及特征,分析了当前煤炭大数据应用现状;阐述了煤炭大数据平台化发展对于煤炭大数据应用的意义,分析了煤炭大数据平台建设过程中在数据共享、数据质量、安全性、专业人才等方面存在的问题,提出建设煤炭大数据平台应进行顶层设计、完善煤炭数据标准体系、培养专业人才、合理设计平台框架。

  3. 所属分类：其它

    • 发布日期：2020-06-02
    • 文件大小：166912
    • 提供者：weixin_38689736

  1. 面向大数据的Storm框架研究与应用

  2. 大数据计算主要包括批量计算和实时计算，针对批量计算处理的都是历史数据而不能实现低延迟高响应的缺点，基于Storm并借助开源框架Flume、Kafka，设计了一个实时数据收集与处理的系统，将数据转为流的形式，对收集来的数据直接在内存以流的形式进行计算，输出有价值的信息。最后对系统进行性能测试以及计算能力的测试。实验结果表明，该系统可扩展性良好，且并行计算能力稳定，适合大量实时数据处理。

  3. 所属分类：其它

    • 发布日期：2020-10-16
    • 文件大小：483328
    • 提供者：weixin_38630853

  1. 大数据实验报告对应我的第二篇博客

  2. 一、大数据平台的搭建 3 1. 架构设计 6 2 服务器集群的搭建 7 （1）安装Linux操作系统、 14 （2）安装大数据处理框架Hadoop 20 3 工具软件安装 21 （1）安装关系型数据库MySQL 26 （2）安装列族数据库HBase 27 （3）安装Zookeepper 28 （4）安装数据仓库Hive 29 （5）安装Sqoop 32 （6）安装Eclipse 33 二、数据导入 34 1. 数据库、表清单 34 2. 数据对象的定义 37 （1） 创建数据库 39 （2） 创

  3. 所属分类：Hadoop

    • 发布日期：2020-12-30
    • 文件大小：8388608
    • 提供者：qq_45557681

  1. 开源组件下的大数据技术框架

  2. 目录 （一）通用框架概述 （二）数据收集层 （三）数据存储层 （四）资源管理与服务协调层 （五）计算引擎层 （六）数据分析层 （七）数据可视化层   （一）通用框架概述   自底向上，与OSI类似，通用框架下的大数据体系有七层：数据源、数据收集层、数据存储层、资源管理与服务协调层、计算引擎层、数据分析层及数据可视化层。图示如下：   （二）数据收集层   数据收集层直接与数据源对接，负责采集产品使用过程中生成的日志，具有分布式、通用化等属性。由于实际场景中，大部分的数据源是零散的，因此采集到一

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：142336
    • 提供者：weixin_38637580

  1. 大数据体系

  2. 开发语言 1.Java,大数据框架的编写支持很多开发语言,但是Java在大数据方面有很大的优势,目前流行的大数据Hadoop框架,MapReduce框架,很多部分都是用开源的Java语言编写,因此Java在大数据方面有很大优势 2.Scala,就大数据而言,对典型的迭代机器学习,即席查询,图计算等应用Spark比基于MapReduce,Hive,和Prgel的实现快上十倍到百倍。其中内存计算，数据本地性和传输 优化，调度优化等该居首功也与设计伊始即秉持的轻量理念不无关系,而Spark是采用Sca

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：93184
    • 提供者：weixin_38609089
« 12 3 4 5 6 7 8 9 10 ... 50 »