注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. crontab shell调用spark-sql，实现周期性动态SQL批量自动执行.rar

  2. 对于熟悉Scala开发的人来说，对于spark-sql的使用，直接jar包中写入代码处理就能轻松实现动态语句的执行。 但是对于我，不打算学习Scala和Java语言，但是又想定时执行时间推延的周期、定时任务，该肿么办？ spark-sql CLI几个参数，完全满足我等非专业人员。

  3. 所属分类：数据库

    • 发布日期：2015-12-18
    • 文件大小：167936
    • 提供者：oufuji

  1. Spark在不同存储格式下的性能对比

  2. 笔者发现，很多同学在各种项目中尝试使用Spark，大多数同学最初开始尝试使用Spark的原因都很简单，主要就是为了让大数据计算作业的执行速度更快、性能更高。然而，通过Spark开发出高性能的大数据计算作业，并不是那么简单的。如果没有对Spark进行合理的调优，Spark作业的执行速度可能会很慢，甚至根本体会不到Spark作为一种快速大数据计算引擎的优势。 事实上，Spark系统的性能调优是一个很复杂的过程，需要对Spark以及Hadoop有足够的知识储备，从硬件、操作系统、HDFS、数据存储格

  3. 所属分类：其它

    • 发布日期：2017-03-06
    • 文件大小：5242880
    • 提供者：vv8086

  1. Spark 性能相关参数配置详解

  2. Spark 性能相关参数配置详解

  3. 所属分类：其它

    • 发布日期：2017-03-10
    • 文件大小：73728
    • 提供者：daocaorenyiming

  1. Spark 性能相关参数配置详解1

  2. Spark 性能相关参数配置详解

  3. 所属分类：其它

    • 发布日期：2017-03-10
    • 文件大小：35840
    • 提供者：daocaorenyiming

  1. spark官方文档

  2. 1 概述（Overview） Spark SQL是Spark的一个组件，用于结构化数据的计算。Spark SQL提供了一个称为DataFrames的编程抽象，DataFrames可以充当分布式SQL查询引擎。 2 DataFrames DataFrame是一个分布式的数据集合，该数据集合以命名列的方式进行整合。DataFrame可以理解为关系数据库中的一张表，也可以理解为R/Python中的一个data frame。DataFrames可以通过多种数据构造，例如：结构化的数据文件、hive中的

  3. 所属分类：spark

    • 发布日期：2017-09-01
    • 文件大小：15728640
    • 提供者：qq_39532946

  1. 基于运行数据分析的Spark任务参数优化_陈侨安.pdf

  2. spark运行涉及的一些优化方案，可能对一些实际场景有作用，喜欢就下载把

  3. 所属分类：其它

    • 发布日期：2017-11-27
    • 文件大小：870400
    • 提供者：dinghua_xuexi

  1. Spark 2.0.2 Spark 2.2 中文文档

  2. 本资源为网页，不是PDF Apache Spark 2.0.2 中文文档 Spark 概述 编程指南 快速入门 Spark 编程指南 概述 Spark 依赖 Spark 的初始化 Shell 的使用 弹性分布式数据集（RDDS） 并行集合 外部数据集 RDD 操作 RDD 持久化 共享变量 Broadcast Variables （广播变量） Accumulators （累加器） 部署应用到集群中 使用 Java / Scala 运行 spark Jobs 单元测试 Spark 1.0 版本前

  3. 所属分类：spark

    • 发布日期：2017-12-07
    • 文件大小：62
    • 提供者：huoyongjie698

  1. Spark性能调优分享

  2. 我们谈大数据性能调优，到底在谈什么，它的本质是什么，以及 Spark 在性能调优部份的要点，这两点让在进入性能调优之前都是一个至关重要的问题，它的本质限制了我们调优到底要达到一个什么样的目标或者说我们是从什么本源上进行调优。希望这篇文章能为读者带出以下的启发： 了解大数据性能调优的本质 了解 Spark 性能调优要点分析 了解 Spark 在资源优化上的一些参数调优 了解 Spark 的一些比较高效的 RDD 操作算子

  3. 所属分类：spark

    • 发布日期：2017-12-29
    • 文件大小：842752
    • 提供者：licoderli

  1. spark 配置参数优化

  2. spark配置参数优化，spark配置参数优化，spark配置参数优化，spark配置参数优化

  3. 所属分类：spark

    • 发布日期：2018-05-24
    • 文件大小：14336
    • 提供者：oliver_lorne

  1. spark性能调优（参数设置）

  2. 要做好调优，前期相关的规划设计也非常重要。如： HBase 的表设计， Region 分区； Spark 的数据来源等；本章节主要阐述与性能调优强相关的部分设计约束。本文主要描 述相关的要点，具体的设计请参考相关的二次开发文档指导。

  3. 所属分类：spark

    • 发布日期：2018-07-30
    • 文件大小：1048576
    • 提供者：hexinghua0126

  1. spark性能调优参数总结

  2. 详细讲解了创建spark应用的参数含义以及出现问题对应的调优策略

  3. 所属分类：spark

    • 发布日期：2018-08-15
    • 文件大小：202752
    • 提供者：fly964747264

  1. spark从入门到实战

  2. 第1章：SCALA编程（一） 1.大数据分析框架概要、Spark课程学习计划及建议 2.为什么学习SCALA语言及SCALA语言介绍和学习提纲 3.SCALA环境搭建及IDEA安装配置（JAVA安装、SCALA安装及IDEA安装）） 4.SCALA语言HelloWorld及安装总结（作业LINUX系统安装） 5.SCALA中变量的声明（两种方式） 6.SCALA中数据类型及操作符 7.IF语句及WHILE循环、循环表达式及FOR基本使用 8.FOR循环深入讲解及yield功能 9.SCALA中

  3. 所属分类：spark

    • 发布日期：2018-09-18
    • 文件大小：64
    • 提供者：ld_oyy

  1. Spark-2.3.1源码解读

  2. Spark-2.3.1源码解读。 Spark Core源码阅读 Spark Context 阅读要点 Spark的缓存，变量，shuffle数据等清理及机制 Spark-submit关于参数及部署模式的部分解析 GroupByKey VS ReduceByKey OrderedRDDFunctions那些事 高效使用mappartitions standalone模式下executor调度策略 Spark Sql源码阅读 Spark Sql源码阅读 hive on spark调

  3. 所属分类：spark

    • 发布日期：2019-10-20
    • 文件大小：15728640
    • 提供者：bruce__ray

  1. Redis 中spark参数executor-cores引起的异常解决办法

  2. 主要介绍了Redis 中spark参数executor-cores引起的异常解决办法的相关资料,需要的朋友可以参考下

  3. 所属分类：其它

    • 发布日期：2020-09-09
    • 文件大小：37888
    • 提供者：weixin_38743372

  1. MongoDB中的参数限制与阀值详析

  2. 前言 今天搜索spark mongo的资料，意外发现了MongoDB的一些知识，这些都是之前没有接触过的，所以专门记录下。 (๑• . •๑) 下面话不多说了，来一起看看详细的介绍吧 一、BSON文档 BSON文档尺寸：一个document文档最大尺寸为16M；大于16M的文档需要存储在GridFS中。 文档内嵌深度：BSON文档的结构（tree）深度最大为100。 二、Namespaces collection命名空间：.，最大长度为120字节。这也限定了database和c

  3. 所属分类：其它

    • 发布日期：2020-12-16
    • 文件大小：89088
    • 提供者：weixin_38723027

  1. 【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.

  2. ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. 前言报错信息异常分析配置改动后记 前言 在成功消除Cloudare管理界面上那些可恶的警告之后，我又对yarn的一些参数进行调优，最后重启了集群。当我提个任务（spark on yarn）并且看到并发及资源的分配情况正如自己先前所料的时候，我长舒了一口气，端起杯子拿上手机起身打算去接杯水消遣

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：82944
    • 提供者：weixin_38676058

  1. SparkIO:ESP32 C ++类与Spark通讯-生成并接收正确的消息-源码

  2. SparkIO的 ESP32 C ++类与Spark通讯-生成并接收正确的消息 这是一项正在进行的工作 目前还使用SparkClass和SparkClass.h-一旦不再需要它们将被删除，并由SparkIO完全替代。 目前，SparkIO用于创建与Spark的连接，并从Spark接收消息并解压缩它们。 它甚至在最复杂的情​​况下也可以使用，在这种情况下，多块预设被同一组块中的其他参数更改消息夹在中间。 它还可以部分创建要发送到Spark的消息，但这尚未完成。 为了处理消息接收的异步性质，环

  3. 所属分类：其它

    • 发布日期：2021-03-15
    • 文件大小：20480
    • 提供者：weixin_42116672

  1. 基于Spark的LIBSVM参数优选并行化算法

  2. 基于Spark的LIBSVM参数优选并行化算法

  3. 所属分类：其它

    • 发布日期：2021-03-13
    • 文件大小：1048576
    • 提供者：weixin_38694541

  1. 基于机器学习的Spark构形参数调整新方法

  2. Apache Spark是一个开放源代码的分布式数据处理平台，可以使用分布式内存抽象来高效处理大量数据。 随着Apache Spark的应用越来越广泛，暴露了一些问题。 性能问题是最重要的方面之一。 Apache Spark具有180多个配置参数，用户可以根据自己的特定应用程序对其进行调整，以优化性能。 当前，这些参数是通过反复试验手动调整的，由于参数空间大以及参数之间的复杂交互作用，因此无效。 为了使Spark的参数调整过程更加有效，提出了一种基于机器学习的Spark配置调整方法，该方法由二进

  3. 所属分类：其它

    • 发布日期：2021-03-11
    • 文件大小：297984
    • 提供者：weixin_38499349

  1. spark-study-源码

  2. 火花备忘单 Dataframe API cache()与persist() - cache()始终以默认存储级别MEMORY_AND_DISK缓存，而persist()允许指定存储级别 Dataframe的API repartition() VS coalesce() - repartition()确实在存储器中的新鲜重新分区，它可以增加或减少分区数由主叫参数所指示的。 另一方面， coalesce()避免了改组，并将分区数减少到调用参数所指示的数 cache()或（ persist() ）不会

  3. 所属分类：其它

    • 发布日期：2021-03-06
    • 文件大小：1048576
    • 提供者：weixin_42115074
« 12 3 4 5 »