HCIP-Big_Data_Developer_V2.0实验手册.pdfHCIP-Big_Data_

文件名称: HCIP-Big_Data_Developer_V2.0实验手册.pdf

所属分类: 华为认证

开发工具:

文件大小: 10mb

下载次数: 0

上传时间: 2019-10-08

提供者: weixin_********

下载 (10mb)

不能下载？报告错误

详细说明：HCIP-Big_Data_Developer_V2.0实验手册，要求掌握Java、Linux、大数据基础知识版权所有华为技术有限公司2019。保留一切权利。非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传播商标声明 A和其他华为商标均为华为技术有限公司的商标。本文档提及的其他所有商标或注册商标,由各自的所有人拥有。注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定,华为公司对本文档内容不做任何明示或暗示的声明或保证。由于产品版本升级或其他原因,本文档内容会不定期进行更新。除非另有约定,本文栏仅作为使用指导,本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。华为技术有限公司地址深圳市龙岗区坂田华为总部办公楼邮编:518129 网址: http://e.huawei.com 华为专有和保密信息版权所有Q华为技术有限公司 HCIP-Big Data Developer V.2.0实验手册第1页 HUAWEI 华为认证体系介绍基于“平台+AI+生态”战略,圉绕"云-管-端”协同的新ICT技术架构,华为公司打造了业界唯一覆盖T全技术领域的认证体系,包含ICT技术架构认证、平台与服务认证和行业 ICT认证三类认证。根据ICT从业者的学习和进阶需求,华为认证分为工程师级别、高级工程师级别和专家级别三个认证等级。华为认证覆盖ICT全领域,符合ICT融合的技术趋势,致力于提供领先的人才培养体系和认证标准,培养数字化时代的新型ICT人才,构建良性的ICT人才生态。 HCIP-Big Data Developer(Huawei Certified ICT Professional-Big data Developer,华为大数据开发高级工程师认证)主要面向华为公司办事处、代表处一线工程师,以及其他希望学习华为大数据应用开发工程师。 HCIP-Big Data Developer认证在内容上涵盖大数据应用开发总指导、大数据主流技术、大数据场景化解决方案(离线批处理、实时检索、实时流处理、融合数仓)、大数据应用开发流程等內容,课程配备了丰富的随堂实验,满足不同场景化大数据开发全流程的行业实践,增强动手能力,旨在推动业界大数据行业高级开发工程师人才培养。华为认证协助您打开行业之窗,开启改变之门,屹立在大数据世界的潮头浪尖 HUAWEI HCIP-Big Data Developer V.2.0实验手册第2页可 s∽的go cEs 与tgE HUAWEI HCIP-Big Data Developer V.2.0实验手册第3页前言简介本书为HCIP- Big Data Developer认证培训教程,适用于准备参加HCIP- Big Data Developer考试的学员或者希望了解大数据基础知识,如何将大数据技术融合与具体实践的读者。内容描述本实验指导书主要指导用户如何基于已有的曰志信息和业务数据库中的数据使用大数据分析工具,对数据进行分析。实验一:本次实验的日志数据是电商平台的日志,包含启动日志和事件日志;业务数据库中的数据包含订单数据和支付数据。我们需要对数据进行加载,然后对数据进行分层,最终的到业务数据,并对业务数据进行可视化展示。实验二:本实验指导书主要包含两个实验。每个实验有分别包含购买和配置服务、搭建或访问开发环境、实现基本功能。实验1:实时检索实验主要包含 HBase和ε lasticSearch的数据导入,建表建索引操作,查询操作等,理解 HBase和 ElasticSearch的应用场景和应用开发原理。实验2:图搜索实验主要包含数据的导入,使用 Gremlin查询语言进行数据查询和增删,理解图数据的应用场景和应用开发。实验三:本章实验主要是通过Fink来完成实时流数据的处理,Fink接收 Kafka中的数据, 处理完成之后写入MySq中,最后使用DLV服务做数据展示实验四:本实验指导书书共包含三个实验,从设备基本操作配置开始,逐一介绍了 GaussDB 200的数据导入导出、 GaUssDB200的基本操作、 GaussDB200的存储过程及应用场景化解决方案实验1:为 GaussDB200的数据导入实验,利用 GaUssDB200的并行导入方法拉取GDS服务器的数据,帮助读者熟悉 GaussDB200的并行数据导入方法,理解 GaussI200的并行处理机制。实验2:为 GaussDB200的融合数仓实验,通过编写 GaussDB200的存储过程, 帮助读者掌握基本的 GaUssDB200开发能力 HCIP-Big Data Developer V.2.0实验手册第4页 HUAWEI 实验3:为 GaussDB200的数据增量实验,通过加载新的数据,并依据业务修改对应的 GaussDB200的存储过程,完成数据的增量修改。读者知识背景本课程为华为认证基础课程,为了更好地掌握本书內容,阅读本书的读者应首先具备以下基本条件: 具有基本的大数据常用概念。熟悉Java语言熟悉SQL语言。有一定的逻辑性。实验环境说明组网说明本实验环境面向准备HCRP- Big Data Developer考试的大数据工程师。设备介绍为了满足HaP- Big data Developer实验需要,建议每套实验环境采用以下配置: 设备名称、型号与版本的对应关系如下,请学员提前安装好设备名称设备型号软件版本电脑 64位系统 Win7或Win10 Java软件18* Windows版本的JDK IDEA 开源版本 Windows版本的DEA Maven 3.5.4 Windows版本 ECS服务器弹性云服务器 Centos 6.5 DWS服务数据仓库服务 1.5.100 HCIP-Big Data Developer V.2.0实验手册第5页 HUAWEI 准备实验环境检查设备实验开始之前请每组学员检查自己的实验设备是否齐全,实验清单如下。设备名称数量备注 CS服务器 1台所有实验组共用 DWS服务 1个所有实验组共用弹性公网IP 2个所有实验组共用每组检查自己的设备列表如下: ECS服务器1台 DWS服务1个弹性公网IP2个第6页 HUAWEI HCIP-Big Data Developer V.2.0实验手册目录前言 3 简介内容描述读者知识背景实验环境说明翻音 33445 准备实验环境 1大数据离线批处理场景化解决方案实验… 10 1.1实验介绍… 10 1.11关于本实验… 10 1.1.2实验目的… …10 1.1.3实验规划 10 1.2实验流程 10 1.3实验数据解释…. 1.31事件日志数据基本格式… 11 1.3.2商品点击 1.33商品详情. 1.3.4商品收藏 …14 1.35商品评论… 1.3.6启动日志数据基本格式 1.3.7启动 16 1.38数据库表及字段解释.. 16 4业务逻辑 18 1.5实验步骤… 18 1.51数据准备… 音垂音着音看垂音,番看垂。音. 18 1.52日志数据分层统计 25 1.53业务数据库数据分层统计…….161 1.54业务宽表 79 HCIP-Big Data Developer V.2.0实验手册第7页 HUAWEI 5.5ADS层结果统计…… 82 1.56数仓结果数据导出到关系型数据库. 1.57可视化......1 92 15思考题… .97 2大数据实时检索实验…98 2.1实验介绍… 98 21.1关于本实验 98 212实验目的 98 213实验场景… .98 214实验规划…… 2.2实验任务配置 99 2.21实验思路… 99 2.22实验步骤 100 23实验附录 155 231参考文档 155 24实验小结… 156 3大数据图搜索实验… ●●···D●·●··。●·····●·●D····● 156 31实验介绍 156 31.1关于本实验垂垂着垂 56 1.2实验目的 56 31.3实验场景… 157 314实验规划… 157 32实验任务配置 157 3.21实验思路 157 322实验步骤 158 33实验附录… 192 331参考文档 192 34实验小结… 192 4 Flink实时流开发实战 193 41实验介绍 193 41.1关于本实验 193

(系统自动生成,下载前可以参看下载内容)