Vertica实时数据分析平台深度介绍Vertica产品总体架构、核心优势、集群能力、Vertica

文件名称: Vertica实时数据分析平台

所属分类: Hadoop

开发工具:

文件大小: 4mb

下载次数: 0

上传时间: 2019-04-20

提供者: sk***

下载 (4mb)

不能下载？报告错误

详细说明：深度介绍Vertica产品总体架构、核心优势、集群能力、Vertica与Hadoop的数据交换、SQL高级分析、与分布式R无缝集成、灾备能力等等，是不可多得的了解Vertica的好资料。数据分析平台演进阶段及挑战事件触发,全量数据实时分析频价值实业务相关性分析繁访问产品分析、用户行为分析客客户活动预测,客户流失预测,直接提升业务户分析等灵活直询和数据分析产品盈利预测面向大量业务人员 MOLAP CUBE生成面向少量管理者的机器学习和现整合层行业模型批量加工预测监管报送等数据集市的批量计面向少量管理者的灵活查询和算数据分析业务智能支持面向少量管理者的报表机器学习和预测灵活查询和数据分析批量(整合层统计报表传统数据库的集群运算能力不足由于维度太多,维成员太多挖掘和预测效率受R或SAs等通常只能提供T+1的数据加载数据加载效率受共享存储(NAS或cube太大都有严重性能问题计算能力的严重制约,无法实‖和服务,实时数据加载和分析 SAS)吞吐能力的限制全局统一视图被严重割裂,多维施大规模推广服务能力不足分析只是玩具无法存储多结构和低价值数据仅能基于小样本训练集,预测无法满足一线运营的高并发和重复加工和维护成本高准确性受到影响数据实时查询分析要求,无法海量数据初级提炼工作要基于高仅支持少量灵活查询分析仅支持少量用户挖掘和预测最大程度发挥平台价值价值MPP进行业务敏捷性 VERTICA M|ER口典型的大数据平台逻辑架构数据标准,数据质量,元数据,数据生命周期管理业务系统环境大数据分析管理环境业务应用环境数据源层数据交换层数据平台层数据服务层数据应用展现层综合大数据整合平台分析师平台灵活查询结个货 EDW批量系统 EDW查询系统灵活查询大数据存储平台」构化数 8用应用服务山报表集市集市数据加载处理通用查询结构化数据存储服务数据挖掘 UDS 据外汇非结构化数据存储 SAS EM 业务系统归档挖掘模块文档/ 非视频发现/探索分析& 自助取数结构电商/网银可视化模块化社交媒体联机访问数邮件/ 据系统日志外部系统批量接口服务知识管理数据 MQ 流数据处理平台流数据存储果回流流数据加工实时处理服务分析应用 VERTICA M|ER口传统DBMS(OLTP)的不足主要优化措施,包括 >预计算:例如 Materialized views(物化视图) >查询加速 >查询优化工具 >其它一些索引技术 >OLAP扩展 >嵌入式分析手段缺点: 1~2邛B数据规模下,需要 POWER780+中髙端存储+大量调优工作才能勉强保证性能 >2CPU的PC服务器, Oracle license价格要30~40万人工维护管理成本过高,需要大量的DBAS >数据库管理的复杂性:分区、表空间、索引维护、性能调优 >分析性能低下∶凨管提供了一些性能优化措施,但仍无法从根本上解决分析查询性能低下的问题 OLTP DBMS适合做 OLTP >小型企业/部门级分析应用或者很小的数据量简单的查询分析传统的 Oracle/DB2/ SQL Server并不适合做分析数据库 VERTICA M|ER口大数据平台的基本要求开放弹性架构在线线性扩展拥有成本可控海量并行处理优秀混合负载极速智能分析平台持续可用易于管理维护采用无共享的·增加节点可·提供纯软件·支持PB级的·按需分配资·深度整合高。数据镜像、硬·直观的图形化海量并行处理线性增加存许可方式数据处理、源(CPU 级分析模块件冗余等多种界面,实时的架构储、查询和保证用户不存储和访问内存、10)·与 Hadoop 容错技术保证状态监控 °工业标准的通加载性能被专有平台系统高可用用平台支持在线扩锁定在数据加载、·智能定义规无缝集成最大限度降低处理、访问则,动态调·专为传统商·故障切换和恢管理员的日常服务器资源按容,扩容期·企业初期投等各个环节整资源业智能分析复,对用户透管理和维护工需分配,按需间保证系统入和后续扩最大化并和大数据分明作搭建集群,按继续对外提容的成本可处理能力析应用优化需缩放集群规供服务扩容期间可持续对外服务模 VERTICA M|ER口成熟MPP软件正在成为海量数据结构化分析的主流产品形朋 Oracle(传统) 兵有传统来总成本时13 传统DBMS(OLTP) IBM DB2(传统) 高用 Microsoft SQL Server(传统) Teradata 《属 IBM Netezza MPP一体机神鞋刘分作韵 Oracle Exadata Hana Apache Hadoop Cloudera HADOOP Hortonworks 传间 8元快加计 T:-0PB5s 行处形的(P) MapI R HPE Vertica 新一代MPP软件 Pivotal Greenplum VERTICA M|ER口典型案例全球大型社交媒体公司企业分析平台 facebook 单个集群规模超过300节点以上支持超过6PB详细数据的分析能力平均35TB/小时的数据入库速度实现精确的营收分析,用户行为分析和广告效率分析月度活跃用户人数115亿 Web Servers 每天60万个M/ R Jobs mIle 每天5万个 nformatica Jobs 移动端 Logs 定时任野调度表 Log curly 25亿内容分享3照片口 Hadoop/ HDFS 2个超大规模 Hadoop集群 17 ExaBytes数据离桌面设箭 15000节点 60KM 40000节点 27亿“赞”500TB新增数据 Vertica 客灾、测试与开发 VERTICA M|ER口富国基金原有分析系统不能满足业务需求业务系统 KM系统数据应用监管信息披露(XBRL DElink 客户定期报告过投资交估值查询分析报表户系统易系统系统系统 DELink Local 客户关系管理 Table I Table 模板报告订单天相贴汇模报 KM函数数据应用面临的问题报表类应用整体效率不佳数据准确性不佳历史数据的高效查询缺少架构支持从形成需求、分析、开发、测试、上线过程较长缺少必要的、科学的、完整的数据清洗、数据转换、随着数据量的不断增长,获取难,查询效率低下报表冗余,相同指标重复加工;报表生成不及时数据质量检查评估等数据管理过程,导致数据取信 °大量依赖手工提数定制开发,重复劳动一定程度上度不高,制约数据应用的拓展的问题日渐突出分流了科技生产力数据应用缺乏科学权限管理机制数据应用停留在报表阶段数据中心应从传统的成本中心逐渐向利润中数据安全数据的价值挖掘停留在初级阶段心转变角色分配;业务化配置受制于传统数据库架构,不能继续拓展支持分析型数据应用能够帮助提升运营效率,降低运营成本数据应用(例如多维分析、灵活查询、数据挖掘、电商等领域的大数据分析与风控) VERTICA M|ER口富国选择 Vertica的原因:高性能因:高性能列存储压缩横向扩展分布式查询预测通过只读取所需数据减少费用昂贵的以实现无名称节点或其他单点任何节点均可以启动查询#使将高可用性与特殊优化完美结合,可提高查询速度提高总体性能故障的群集的高可扩展性用其他节点进行工作。无单点故有效提高查询性能 VERTICA M|ER口

(系统自动生成,下载前可以参看下载内容)