注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. Spark运维实战

  2. 本书参考Spark官方文档和源码，通过本书你将精通Spark的安装、配置、监控和调优。

  3. 所属分类：其它

    • 发布日期：2015-11-07
    • 文件大小：925696
    • 提供者：hq333

  1. CCTC 2016 王栋：利用ELK监控Hadoop集群负载性能

  2. 该文档来自CCTC 2016中国云计算技术大会。分布式系统组件管理与性能监控资深专家王栋发表的题为“利用ELK监控Hadoop集群负载性能”的主题演讲，欢迎下载！

  3. 所属分类：讲义

    • 发布日期：2016-05-17
    • 文件大小：5242880
    • 提供者：tangxiaoyin

  1. Spark实时计算的开发平台RCS_ 阿里流式分析实战

  2. Spark开发者会将自己的代码完成开发并提交到YARN集群，之后任务的监控、报警、性能优化等都依赖于开发者本身；为此我们为Spark开发者提供一套可以完成任务提交、数据接入、任务监控、任务报警、错误日志查看的一体化实时计算的开发平台real-time computing service。通过我们的平台可以： 自助本地提交任务；jar包版本维护在HDFS上 数据接入覆盖主流中间件：Kafka、MetaQ、TT和SLS 任务的监控、报警、日志处理 Spark任务容灾 Spark集群容灾

  3. 所属分类：Java

    • 发布日期：2016-08-15
    • 文件大小：5242880
    • 提供者：taobai021

  1. spark Streaming苏宁物流天眼全程监控系统应用.pdf

  2. 大数据，spark项目，straming

  3. 所属分类：Java

    • 发布日期：2017-03-27
    • 文件大小：4194304
    • 提供者：csbylijianbo

  1. ApacheCN - Apache Spark 2.0.2 中文官方文档 - v0.1.0.pdf版下载

  2. ApacheCN - Apache Spark 2.0.2 中文文档 - v0.1.0.pdf 网页地址为 : http://www.apache.wiki/pages/viewpage.action?pageId=2883613 Apache Spark 2.0.2 中文文档 Spark 概述 编程指南 快速入门 Spark 编程指南 概述 Spark 依赖 Spark 的初始化 弹性分布式数据集（RDDS） 共享变量 部署应用到集群中 使用 Java / Scala 运行 spark Jo

  3. 所属分类：其它

    • 发布日期：2017-04-17
    • 文件大小：4194304
    • 提供者：u012185296

  1. Spark 2.0.2 Spark 2.2 中文文档

  2. 本资源为网页，不是PDF Apache Spark 2.0.2 中文文档 Spark 概述 编程指南 快速入门 Spark 编程指南 概述 Spark 依赖 Spark 的初始化 Shell 的使用 弹性分布式数据集（RDDS） 并行集合 外部数据集 RDD 操作 RDD 持久化 共享变量 Broadcast Variables （广播变量） Accumulators （累加器） 部署应用到集群中 使用 Java / Scala 运行 spark Jobs 单元测试 Spark 1.0 版本前

  3. 所属分类：spark

    • 发布日期：2017-12-07
    • 文件大小：62
    • 提供者：huoyongjie698

  1. 基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码

  2. 基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码，博客链接： https://blog.csdn.net/linge1995/article/details/81326146

  3. 所属分类：spark

    • 发布日期：2018-08-01
    • 文件大小：6291456
    • 提供者：linge1995

  1. dr-elephant hadoop2.6.0 64位编译文件

  2. linkedin的dr-elephant 编译文件，在centos 7(64位)下进行编译，支持 hadoop 2.6.0 , spark 1.x 版本。

  3. 所属分类：Hadoop

    • 发布日期：2018-10-15
    • 文件大小：90177536
    • 提供者：hunterorc

  1. hue-3.9大数据监控利器

  2. 官方原版hue安装包，下载之需要自己编译，过程虽然麻烦，但是稳定、可靠

  3. 所属分类：Hadoop

    • 发布日期：2018-10-19
    • 文件大小：69206016
    • 提供者：fengguoyousheng

  1. OPC技术在制米厂监控系统中的应用.pdf

  2. OPC技术在制米厂监控系统中的应用pdf,OPC技术在制米厂监控系统中的应用20087 Setm Y Items= MYGroup OPCItems Private Sub d isconnect_Click() M YG oup O PC Item s Defau llsa ctive True On error goto errot andler For i= 1To 5 MYOPCServer d iscornecl Item Ds (i)= Text(i). Text Setmyo PC

  3. 所属分类：其它

    • 发布日期：2019-10-12
    • 文件大小：450560
    • 提供者：weixin_38744153

  1. 实时监控mysql更新保存到hbase.docx

  2. 数据的整个流程介绍代码mysql、kafka、spark、Hbase文档加代码

  3. 所属分类：spark

    • 发布日期：2019-09-04
    • 文件大小：150528
    • 提供者：weixin_43416415

  1. 如何在 Kylin 中优雅地使用 Spark

  2. 前言 Kylin 用户在使用 Spark的过程中，经常会遇到任务提交缓慢、构建节点不稳定的问题。为了更方便地向 Spark 提交、管理和监控任务，有些用户会使用 Livy 作为 Spark 的交互接口。在最新的 Apache Kylin 3.0 版本中，Kylin 加入了通过 Apache Livy 递交 Spark 任务的新功能[KYLIN-3795]，特此感谢滴滴靳国卫同学对此功能的贡献。 Livy 介绍 Apache Livy 是一个基于 Spark 的开源 REST 服务，是 Apach

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：578560
    • 提供者：weixin_38685608

  1. 大数据面试之——Spark

  2. Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 1.Spark有几种部署模式，各个模式的特点 1.本地模式 Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。方便调试，本地模式分三类 local：只启动一个executor local[k]: 启动k个executor local：启动跟cpu数目相同的 executor 2.standalone模式 分布式部署集群，自带完整的服务，资源管理和任务监控是Spark自己监控，这个模式也是其他模

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：208896
    • 提供者：weixin_38557768

  1. bi_development_source_code:传统大数据分析工具以Hadoop，Spark为代表，集成集成的技术框架，对用户来说又重又笨又不灵活，难以维护和驾驭，国际和国内的敏捷型BI工具在对接时又面临性能本项目独辟蹊径，以阿里开源

  2. 数据挖掘 传统大数据分析工具以Hadoop，Spark为代表，集成集成的技术框架，对用户来说又重又笨又不灵活，难以维护和驾驭，国际和国内的敏捷型BI工具在对接时又面临性能本项目独辟蹊径，以阿里开源的DataX为ETL工具，以列式数据库ClickHouse做为中间数据存储源，通过视图关联构建大数据集，解决亿万级数据的即时分析性能，再辅以强大的数据可视化设计前端，通过用户自定义菜单和模板进行呈现，实现用户的自助式分析和探索。 通过灵活的预警功能，设置一些自定义的监控指标，当监控指标超过异常值时，系统

  3. 所属分类：其它

    • 发布日期：2021-03-24
    • 文件大小：80740352
    • 提供者：weixin_42173218

  1. Spark性能调优

  2. 摘要：通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。【Spark监控工具】Spark提供了一些基本的Web监控页面，对于日常监控十分有用。1.ApplicationWebUIhttp://master:4040（默认端口是4040，可以通过spark.ui.port修改）可获得这些信息：（1）stages和tasks调度情况；（2）RDD大小及

  3. 所属分类：其它

    • 发布日期：2021-02-26
    • 文件大小：503808
    • 提供者：weixin_38502510

  1. spark流数据处理：SparkStreaming的使用

  2. SparkStreaming是Spark核心API的扩展，用于可伸缩、高吞吐量、可容错地处理在线流数据。SparkStreaming可以从很多数据源获取数据，比如：Kafka、Flume、Twitter、ZeroMQ、Kinesis或TCP连接等，并可以用很多高层算子(map/reduce/join/window等)来方便地处理这些数据。最后处理过的数据还可以推送到文件系统、数据库和在线监控页面等。实际上，你也可以在数据流上使用Spark的机器学习和图计算算法。SparkStreaming内部工

  3. 所属分类：其它

    • 发布日期：2021-02-26
    • 文件大小：310272
    • 提供者：weixin_38745648

  1. ELK在Spark集群的应用

  2. 大数据处理技术越来越火,云计算平台也如火如荼,二者犹如IT列车的两个车轮,相辅相成,高速发展。如果我们将大数据处理平台比作一个可能会得病的人的话，那么日志分析系统就是给病人诊断的医生。由于集群甚大，几百台机器都是起步价，甚至可能会有上千台、上万台机器同时协作运行。如此大的集群，不可能一点问题都不出,就像一个人不可能不得病一样。如果出现问题，如何快速的找到问题的根源并对症下药，则显得至关重要。在这样的背景下，日志分析和监控系统也犹如雨后春笋，得到了空前的发展。目前，日志分析工具多达数十种，其中应用

  3. 所属分类：其它

    • 发布日期：2021-02-25
    • 文件大小：529408
    • 提供者：weixin_38685857

  1. 基于Kafka与Spark的实时大数据质量监控平台

  2. 微软的ASG(应用与服务集团)包含Bing,、Office,、Skype。每天产生多达5PB以上数据，如何构建一个高扩展性的dataaudit服务来保证这样量级的数据完整性和实时性非常具有挑战性。本文将介绍微软ASG大数据团队如何利用Kafka、Spark以及Elasticsearch来解决这个问题。微软的ASG(应用与服务集团)包含Bing,、Office,、Skype。每天产生多达5PB以上数据，如何构建一个高扩展性的dataaudit服务来保证这样量级的数据完整性和实时性非常具有挑战性。本

  3. 所属分类：其它

    • 发布日期：2021-02-24
    • 文件大小：373760
    • 提供者：weixin_38597990

  1. TrafficTeach：大数据项目：车流量监控-源码

  2. 车流量监控 前言 目的1.对业务场景抽象，熟练的Spark编码2.增加自定义累加器，自定义UDF 3.Spark优化方式 项目数据处理架构 模块介绍 卡扣流量分析Spark Core 卡扣车流量转化率Spark Core 各区域车流量最高top5的道路统计SparkSQL 稽查布控，道路实时拥堵统计SparkStreaming 蜂巢表 monitor_flow_action表–日期日期天– monitor_id卡口号– camera_id摄像头编号–汽车车牌– action_time某个摄像头拍

  3. 所属分类：其它

    • 发布日期：2021-02-04
    • 文件大小：17825792
    • 提供者：weixin_42137028

  1. Spark性能调优

  2. 摘要：通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。【Spark监控工具】Spark提供了一些基本的Web监控页面，对于日常监控十分有用。1.ApplicationWebUIhttp://master:4040（默认端口是4040，可以通过spark.ui.port修改）可获得这些信息：（1）stages和tasks调度情况；（2）RDD大小及

  3. 所属分类：其它

    • 发布日期：2021-01-30
    • 文件大小：486400
    • 提供者：weixin_38522253
« 12 3 4 »