注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. spark-streaming

  2. Spark Streaming是大规模流式数据处理的新贵，将流式计算分解成一系列短小的批处理作业。本文阐释了Spark Streaming的架构及编程模型，并结合实践对其核心技术进行了深入的剖析，给出了具体的应用场景及优化方案

  3. 所属分类：其它

    • 发布日期：2014-10-31
    • 文件大小：2097152
    • 提供者：p_x1984

  1. 流式大数据处理

  2. Spark Structured Streaming的一些基本概念和工作原理

  3. 所属分类：spark

    • 发布日期：2017-08-24
    • 文件大小：1048576
    • 提供者：erjin_ren

  1. spark streaming

  2. spark streaming spark流式计算 Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据

  3. 所属分类：spark

    • 发布日期：2017-11-03
    • 文件大小：7340032
    • 提供者：u014372225

  1. 深入理解Spark 核心思想与源码分析

  2. 深入理解Spark 核心思想与源码分析 ,耿嘉安完整版，大数据spark开发必备，你值得拥有。清晰完整版 《深入理解SPARK：核心思想与源码分析》结合大量图和示例，对Spark的架构、部署模式和工作模块的设计理念、实现源码与使用技巧进行了深入的剖析与解读。, 《深入理解SPARK：核心思想与源码分析》一书对Spark1.2.0版本的源代码进行了全面而深入的分析，旨在为Spark的优化、定制和扩展提供原理性的指导。*集团专家鼎力推荐、*资深Java开发和大数据专家撰写。, 本书分为

  3. 所属分类：spark

    • 发布日期：2018-05-22
    • 文件大小：39845888
    • 提供者：jyh2005

  1. 深入理解Spark 核心思想与源码分析

  2. 在深入了解一个系统的原理、实现细节之前，应当先准备好它的源码编译环境、运行环境。如果能在实际环境安装和运行Spark，显然能够提升读者对于Spark的一些感受，对系统能有个大体的印象，有经验的技术人员甚至能够猜出一些Spark采用的编程模型、部署模式等。当你通过一些途径知道了系统的原理之后，难道不会问问自己？这是怎么做到的。如果只是游走于系统使用、原理了解的层面，是永远不可能真正理解整个系统的。很多IDE本身带有调试的功能，每当你阅读源码，陷入重围时，调试能让我们更加理解运行期的系统。如果没有

  3. 所属分类：spark

    • 发布日期：2018-10-06
    • 文件大小：42991616
    • 提供者：kuigoutang2400

  1. 深入理解Spark 核心思想与源码分析

  2. 本书对Spark源代码进行了全面而深入的分析，旨在为Spark的优化、定制和扩展提供原理性的指导。*集团专家鼎力推荐，*资深Java开发和大数据专家撰写。本书对Spark的核心模块、部署和协作模块的实现原理与使用技巧进行了深入的剖析与解读。 　　本书分为三篇： 　　准备篇（第1～2章），介绍了Spark的环境搭建、设计理念与基本架构，帮助读者了解一些背景知识。 　　核心设计篇（第3～7章），着重讲解SparkContext的初始化、存储体系、任务提交与执行、计算引擎及部署模式的原理

  3. 所属分类：spark

    • 发布日期：2019-04-04
    • 文件大小：41943040
    • 提供者：fd2025

  1. 基于流式计算的电信实时营销系统设计与实现.caj

  2. 在移动互联网时代,各式各样的新业务和新产品不断出现,通信市场的用户总体规模增长速度变缓,使运营商之间的竞争愈加激烈,新产品营销的时效性和准确度问题亟需解决。实时营销作为新的营销方式,具有较高的实时性,通过运用大数据分析技术分析用户上网行为特征,并在合适的时间、合适的地点向用户推荐合适的内容,从而提升用户感知、增加用户粘性。如何运用大数据技术实现实时营销是本文的重要内容。本文深入调研分析了大数据实时流式处理技术,并结合其在满足非功能性需求方面的独特优势,设计了一个可以同时满足大数据存储、大数据实时

  3. 所属分类：spark

    • 发布日期：2019-10-20
    • 文件大小：3145728
    • 提供者：weixin_41045909

  1. 基于流式计算面向规则订阅应用的研究与实现sparkstreaming.rar

  2. 本篇代码是为了方面阅读者获取本人相关论文代码。随着公安视频图像数据日益增长，存储应用海量数据的相关技术急迫紧需。视频图像数据库系统在实时存储海量数据并进行相关实践应用等方面初见成效。本文就视频图像数据库系统，详细介绍了其中的核心功能规则订阅应用以及实现算法，讨论了其中的核心技术Spark Streaming流处理技术，并通过相关对比实验，得出算法在不同运行参数配置下的数据处理能力，为之后的平台部署，根据数据流量预估资源并进行合理分配给出了有力的指导。其他基于Spark Streaming流处理技

  3. 所属分类：互联网

    • 发布日期：2020-07-14
    • 文件大小：30720
    • 提供者：waxdhgj

  1. Spark-Streaming流式数据处理

  2. 目前为止，已经讨论了机器学习和批处理模式的数据挖掘。现在审视持续处理流数据，实时检测其中的事实和模式，好像从湖泊来到了河流。先研究一下不断改变的动态环境带来的挑战，在列出流处理应用的先决条件（如，与Twitter的TCPSockets）之后，结合Spark,KafkaandFlume把数据放入一个低延迟，高吞吐量，可缩放的处理流水线。要点如下:按照惯例,先看一下最初的数据密集型应用架构，指明我们所感兴趣的SparkStreaming模块的所处位置.下图着重指明了整体架构中的SparkStream

  3. 所属分类：其它

    • 发布日期：2021-02-25
    • 文件大小：787456
    • 提供者：weixin_38717143

  1. 将数据流式传输到附近的管道中，实时使用Kafka-Spark：目标是能够在平台上拥有数据以运行流式数据管道。 在此，我们将CSV文件的内容生成给Kafka主题，使用来自Kafka主题的消息-源码

  2. 使用卡夫卡火花将数据流传输到附近的管道中 ＃运行KafkaProject文件 我们每天都获得STM的信息，并且需要运行ETL管道来丰富数据，以便实时进行报告和分析。 数据一分为二 一组构建维度的表格（批处理样式） 为了进行分析和报告（流）而需要丰富的行程为了能够在Spark Streaming等平台上运行流分析，我们需要在Kafka等流平台上拥有记录。 使用kafka-console-producer将trips.txt文件生成到Kafka。 每行是一条消息。 将行程主题消费到您的应用程序中

  3. 所属分类：其它

    • 发布日期：2021-02-18
    • 文件大小：4096
    • 提供者：weixin_42097508

  1. SparkStreaming：大规模流式数据处理的新贵

  2. Spark Streaming是大规模流式数据处理的新贵，将流式计算分解成一系列短小的批处理作业。本文阐释了Spark Streaming的架构及编程模型，并结合实践对其核心技术进行了深入的剖析，给出了具体的应用场景及优化方案。提到SparkStreaming，我们不得不说一下BDAS（Berkeley DataAnalyticsStack），这个伯克利大学提出的关于数据分析的软件栈。从它的视角来看，目前的大数据处理可以分

  3. 所属分类：其它

    • 发布日期：2021-01-30
    • 文件大小：354304
    • 提供者：weixin_38621104

  1. Spark大数据处理系列之MachineLearning

  2. 最近几年，机器学习、预测分析和数据科学主题得到了广泛的关注。Spark的机器学习库（Spark MLlib），包括各种机器学习算法：协同过滤算法、聚类算法、分类算法和其他算法。在前面的《Spark大数据处理》系列文章，介绍ApacheSpark框架，介绍如何使用SparkSQL库的SQL接口去访问数据，使用Spark Streaming进行实时流式数据处理和分析。在本篇文章，作者将讨论机器学习概念以及如何使用SparkMLlib来进行预测分析。后面将会使用一个例子展示Spark

  3. 所属分类：其它

    • 发布日期：2021-01-29
    • 文件大小：249856
    • 提供者：weixin_38666785

  1. Spark-Streaming流式数据处理

  2. 目前为止，已经讨论了机器学习和批处理模式的数据挖掘。现在审视持续处理流数据，实时检测其中的事实和模式，好像从湖泊来到了河流。先研究一下不断改变的动态环境带来的挑战，在列出流处理应用的先决条件（如，与Twitter的TCPSockets）之后，结合Spark,KafkaandFlume把数据放入一个低延迟，高吞吐量，可缩放的处理流水线。要点如下:按照惯例,先看一下最初的数据密集型应用架构，指明我们所感兴趣的SparkStreaming模块的所处位置.下图着重指明了整体架构中的SparkStream

  3. 所属分类：其它

    • 发布日期：2021-01-27
    • 文件大小：759808
    • 提供者：weixin_38729399