注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. 开源的分布式内存文件系统 Tachyon.zip

  2. Tachyon是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存在tachyon里的文件。把Tachyon是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件。主要职责是将那些不需要落地到DFS里的文件，落地到分布式内存文件系统中，来达到共享内存，从而提高效率。同时可以减少内存冗余，GC时间等。        特性：类 Java 的文件 API兼容性：实现 Hadoop 文件系统接口可插入式的底层文件系统内建 Raw 原生表的支持基于 Web 的 UI 提供命令行接口

  3. 所属分类：其它

    • 发布日期：2019-07-19
    • 文件大小：10485760
    • 提供者：weixin_39840387

  1. Spark：一个高效的分布式计算系统

  2. Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的mapreduce的算法。其架构如下图所示：Spark的中间数据放到内存中，对于迭代运算效率更高。Spark更适合于迭代运算比较多的ML和D

  3. 所属分类：其它

    • 发布日期：2021-02-26
    • 文件大小：313344
    • 提供者：weixin_38648396

  1. SparkStandalone架构设计要点分析

  2. ApacheSpark是一个开源的通用集群计算系统，它提供了High-level编程API，支持Scala、Java和Python三种编程语言。Spark内核使用Scala语言编写，通过基于Scala的函数式编程特性，在不同的计算层面进行抽象，代码设计非常优秀。RDD（ResilientDistributedDatasets），弹性分布式数据集，它是对分布式数据集的一种内存抽象，通过受限的共享内存方式来提供容错性，同时这种内存模型使得计算比传统的数据流模型要高效。RDD具有5个重要的特性，如下图

  3. 所属分类：其它

    • 发布日期：2021-02-25
    • 文件大小：1048576
    • 提供者：weixin_38742571

  1. SparkStandalone架构设计要点分析

  2. Apache Spark是一个开源的通用集群计算系统，它提供了High-level编程API，支持Scala、Java和Python三种编程语言。Spark内核使用Scala语言编写，通过基于Scala的函数式编程特性，在不同的计算层面进行抽象，代码设计非常优秀。RDD（ResilientDistributedDatasets），弹性分布式数据集，它是对分布式数据集的一种内存抽象，通过受限的共享内存方式来提供容错性，同时这种内存模型使得计算比传统的数据流模型要高效。RDD具有5个重要的特性，如下

  3. 所属分类：其它

    • 发布日期：2021-02-01
    • 文件大小：1048576
    • 提供者：weixin_38642349

  1. Spark：一个高效的分布式计算系统

  2. Spark是UCBerkeleyAMPlab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。其架构如下图所示：Spark的中

  3. 所属分类：其它

    • 发布日期：2021-01-30
    • 文件大小：313344
    • 提供者：weixin_38713009