注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. Spark在不同存储格式下的性能对比

  2. 笔者发现，很多同学在各种项目中尝试使用Spark，大多数同学最初开始尝试使用Spark的原因都很简单，主要就是为了让大数据计算作业的执行速度更快、性能更高。然而，通过Spark开发出高性能的大数据计算作业，并不是那么简单的。如果没有对Spark进行合理的调优，Spark作业的执行速度可能会很慢，甚至根本体会不到Spark作为一种快速大数据计算引擎的优势。 事实上，Spark系统的性能调优是一个很复杂的过程，需要对Spark以及Hadoop有足够的知识储备，从硬件、操作系统、HDFS、数据存储格

  3. 所属分类：其它

    • 发布日期：2017-03-06
    • 文件大小：5242880
    • 提供者：vv8086

  1. spark性能调优

  2. 根据美团技术团队网站的文章整理成带目录的pdf文档，方便阅读

  3. 所属分类：spark

    • 发布日期：2017-11-16
    • 文件大小：2097152
    • 提供者：cwbcom

  1. Spark性能调优分享

  2. 我们谈大数据性能调优，到底在谈什么，它的本质是什么，以及 Spark 在性能调优部份的要点，这两点让在进入性能调优之前都是一个至关重要的问题，它的本质限制了我们调优到底要达到一个什么样的目标或者说我们是从什么本源上进行调优。希望这篇文章能为读者带出以下的启发： 了解大数据性能调优的本质 了解 Spark 性能调优要点分析 了解 Spark 在资源优化上的一些参数调优 了解 Spark 的一些比较高效的 RDD 操作算子

  3. 所属分类：spark

    • 发布日期：2017-12-29
    • 文件大小：842752
    • 提供者：licoderli

  1. Spark性能调优和数据倾斜解决方案

  2. 详细介绍了各种情况下spark生产环节遇到的问题以及性能调优解决方案，以及全套的数据倾斜解决方案

  3. 所属分类：spark

    • 发布日期：2018-05-22
    • 文件大小：577536
    • 提供者：u013174239

  1. spark性能调优（参数设置）

  2. 要做好调优，前期相关的规划设计也非常重要。如： HBase 的表设计， Region 分区； Spark 的数据来源等；本章节主要阐述与性能调优强相关的部分设计约束。本文主要描 述相关的要点，具体的设计请参考相关的二次开发文档指导。

  3. 所属分类：spark

    • 发布日期：2018-07-30
    • 文件大小：1048576
    • 提供者：hexinghua0126

  1. spark性能调优参数总结

  2. 详细讲解了创建spark应用的参数含义以及出现问题对应的调优策略

  3. 所属分类：spark

    • 发布日期：2018-08-15
    • 文件大小：202752
    • 提供者：fly964747264

  1. spark性能调优

  2. 该xmind文件介绍了spark性能调优时涉及到的各个方面。

  3. 所属分类：spark

    • 发布日期：2018-08-19
    • 文件大小：302080
    • 提供者：amen000

  1. spark性能调优与spark SQL项目代码分享

  2. spark性能调优，共包含了调优的最佳方法，以及JVM调优，troubleshooting，数据倾斜的使用方法。 为了更好的搭配该性能调优方案，顾把项目也分享给大家。 并且，代码有了一份scala 编写的spark SQL我会分享到github上，供大家参考

  3. 所属分类：spark

    • 发布日期：2018-09-01
    • 文件大小：973824
    • 提供者：qq_20064763

  1. spark性能调优

  2. spark性能调优的一些总结，面试时很实用哦，欢迎大家踊跃下载

  3. 所属分类：Java

    • 发布日期：2018-09-30
    • 文件大小：51200
    • 提供者：jiajinhui12345

  1. Spark调优 Spark应用程序性能优化

  2. 分配更多的资源是性能优化调优的王道，就是增加和分配更多的资源，这对于性能和速度上的提升是显而易见的，基本上，在一定范围之内，增加资源与性能的提升，是成正比的；写完了一个复杂的spark作业之后，进行性能调优的时候，首先第一步，就是要来调节最优的资源配置；在这个基础之上，如果说你的spark作业，能够分配的资源达到了你的能力范围的顶端之后，无法再分配更多的资源了，公司资源有限；那么才是考虑去做后面的这些性能调优的点。

  3. 所属分类：互联网

    • 发布日期：2020-09-21
    • 文件大小：1048576
    • 提供者：zy12306

  1. Spark性能调优

  2. 摘要：通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。【Spark监控工具】Spark提供了一些基本的Web监控页面，对于日常监控十分有用。1.ApplicationWebUIhttp://master:4040（默认端口是4040，可以通过spark.ui.port修改）可获得这些信息：（1）stages和tasks调度情况；（2）RDD大小及

  3. 所属分类：其它

    • 发布日期：2021-02-26
    • 文件大小：503808
    • 提供者：weixin_38502510

  1. Spark的性能调优

  2. 首先，要搞清楚Spark的几个基本概念和原则，否则系统的性能调优无从谈起：每一台host上面可以并行N个worker，每一个worker下面可以并行M个executor，task们会被分配到executor上面去执行。Stage指的是一组并行运行的task，stage内部是不能出现shuffle的，因为shuffle的就像篱笆一样阻止了并行task的运行，遇到shuffle就意味着到了stage的边界。CPU的core数量，每个executor可以占用一个或多个core，可以通过观察CPU的使用

  3. 所属分类：其它

    • 发布日期：2021-02-26
    • 文件大小：246784
    • 提供者：weixin_38706055

  1. Spark性能优化：数据倾斜调优

  2. 继《Spark性能优化：开发调优篇》和《Spark性能优化：资源调优篇》讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。1、绝大多数task执行得都非常快，但个别task执行

  3. 所属分类：其它

    • 发布日期：2021-02-26
    • 文件大小：1048576
    • 提供者：weixin_38722052

  1. Spark性能优化：shuffle调优

  2. 大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优的基本原则，千万不要舍本逐末。下面我们就给大家详细讲解shuffle的原理，以及相关参数的说明，同时给出各个参数的调

  3. 所属分类：其它

    • 发布日期：2021-02-26
    • 文件大小：1048576
    • 提供者：weixin_38687928

  1. spark作业调优秘籍，解数据倾斜之痛

  2. 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。如果数据倾斜没有解决，完全没有可能进行性能调优，其他所有的调优手段都是一个笑话。数据倾斜是最能体现一个spark大数据工程师水平的性能调优问题。数据倾斜如果能够解决的话，代表对spark运行机制了如指掌。数据倾斜俩大直接致命后果。1数据倾斜直接会导致一种情况：OOM。2运行速度慢,特别慢，非常慢，极端的

  3. 所属分类：其它

    • 发布日期：2021-02-25
    • 文件大小：420864
    • 提供者：weixin_38703787

  1. Spark性能优化：数据倾斜调优

  2. 继《Spark性能优化：开发调优篇》和《Spark性能优化：资源调优篇》讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。1、绝大多数task执行得都非常快，但个别task执行

  3. 所属分类：其它

    • 发布日期：2021-02-01
    • 文件大小：1048576
    • 提供者：weixin_38677046

  1. spark作业调优秘籍，解数据倾斜之痛

  2. 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。如果数据倾斜没有解决，完全没有可能进行性能调优，其他所有的调优手段都是一个笑话。数据倾斜是最能体现一个spark大数据工程师水平的性能调优问题。数据倾斜如果能够解决的话，代表对spark运行机制了如指掌。 数据倾斜俩大直接致命后果。1数据倾斜直接会导致一种情况：OOM。2运行速度慢,特别慢，非常慢，极端

  3. 所属分类：其它

    • 发布日期：2021-02-01
    • 文件大小：420864
    • 提供者：weixin_38681719

  1. Spark性能调优

  2. 摘要：通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。【Spark监控工具】Spark提供了一些基本的Web监控页面，对于日常监控十分有用。1.ApplicationWebUIhttp://master:4040（默认端口是4040，可以通过spark.ui.port修改）可获得这些信息：（1）stages和tasks调度情况；（2）RDD大小及

  3. 所属分类：其它

    • 发布日期：2021-01-30
    • 文件大小：486400
    • 提供者：weixin_38522253

  1. Spark的性能调优

  2. 首先，要搞清楚Spark的几个基本概念和原则，否则系统的性能调优无从谈起：每一台host上面可以并行N个worker，每一个worker下面可以并行M个executor，task们会被分配到executor上面去执行。Stage指的是一组并行运行的task，stage内部是不能出现shuffle的，因为shuffle的就像篱笆一样阻止了并行task的运行，遇到shuffle就意味着到了stage的边界。CPU的core数量，每个executor可以占用一个或多个core，可以通过观察CPU的使用

  3. 所属分类：其它

    • 发布日期：2021-01-30
    • 文件大小：246784
    • 提供者：weixin_38703468

  1. Spark性能优化：shuffle调优

  2. 大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优的基本原则，千万不要舍本逐末。下面我们就给大家详细讲解shuffle的原理，以及相关参数的说明，同时给出各个参数的调

  3. 所属分类：其它

    • 发布日期：2021-01-29
    • 文件大小：1048576
    • 提供者：weixin_38704786
« 12 3 4 »