注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. spark本地开发模式配置

  2. 在自己的机器上配置spark的本地开发模式，可以用来测试spark代码是否正确，如果没问题，可以提交到spark集群上去运行，免去每次都要打包放到集群上去测试的麻烦。因为在网络上没找到合适的资源可以快速构建，所以就自己鼓捣了下，分享出来让有同样需求的同学参考下。 1.下载和安装jdk和scala，这个不用多说了，我安装的jdk版本是jdk 1.7，scala版本2.10.4 2.下载hadoop的安装包，我下载的是hadoop-2.6版本的，配置HADOOP_HOME 和配置JAVA_HOME

  3. 所属分类：其它

    • 发布日期：2015-11-24
    • 文件大小：9437184
    • 提供者：xingfulangren

  1. spark-scala-maven实例

  2. 基于spark的scala maven实例项目两个简单的统计实例，适合初学者了解。 /** * 第一步：创建Spark的配置对象SparkConf，设置Spark程序的运行时的配置信息， * 例如说通过setMaster来设置程序要链接的Spark集群的Master的URL，如果设置为 * local，则代表Spark程序在在本地运行 */

  3. 所属分类：其它

    • 发布日期：2017-09-03
    • 文件大小：75776
    • 提供者：alex709261649

  1. spark项目入门

  2. 该代码为spark的最简单本地运行代码，初学者如果本地创建失败，可以参照该代码进行学习

  3. 所属分类：spark

    • 发布日期：2018-11-20
    • 文件大小：92160
    • 提供者：h_hanwen

  1. 详解IntelliJ IDEA创建spark项目的两种方式

  2. 主要介绍了详解IntelliJ IDEA创建spark项目的两种方式，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

  3. 所属分类：其它

    • 发布日期：2020-08-26
    • 文件大小：302080
    • 提供者：weixin_38589150

  1. Spark 读取HDFS保存mongodb

  2. 如何使用oozie来调度大数据工作任务。 本案例主要解决下面问题 1、通过idea工具创建sbt项目，并sbt进行编译，打包 2、创建spark的sbt项目。spark读取hdfs，保存mongodb程序 3、Oozie 的Spark Action的调度验证以及不足，测试是否可以入库 4、Oozie 的 Shell Action的调度 5、Oozie 的定时器调度 6、Oozie 的HiveAction调度支持外部依赖包 7、Oozie整体项目案例（Hive Action、Spark Acti

  3. 所属分类：互联网

    • 发布日期：2016-06-01
    • 文件大小：23552
    • 提供者：shenfuli

  1. spark企业级大数据项目实战.docx

  2. 本教程从最基础的Spark介绍开始，介绍Spark的各种部署模式以及动手进行搭建，然后逐步介绍其中RDD的计算模型，创建和常用的操作，以及其中一些分布式计算，R...

  3. 所属分类：spark

    • 发布日期：2020-12-10
    • 文件大小：80896
    • 提供者：Think_IT

  1. cloud_computing_project3:第一个练习，创建一个远程存储库-源码

  2. Cloud Dataproc中的分布式图像处理 该项目基于来自Google Cloud Self-paced Labs的 qwiklab中的。 总而言之，VM实例管理与存储桶的交互，以上传图像，提交scala作业并检索轮廓轮廓的面部，这些面部也也存储在云存储桶中。 概述 此仓库显示了如何使用Cloud Dataproc服务实现Apache Spark集群，目的是将计算量大的图像处理任务分配到计算机集群上。 本演示中使用的Google云服务是： 虚拟机（VM）：用于托管服务的开发机。 我已使用

  3. 所属分类：其它

    • 发布日期：2021-03-22
    • 文件大小：432128
    • 提供者：weixin_42160252

  1. metalus:该项目旨在通过抽象化将驱动程序组装成可重复使用的步骤和管道的工作，使编写Spark应用程序更加容易-源码

  2. 分支 建造 覆盖范围 质量 开发 掌握 Metalus管道库 Metalus库的创建是在运行时创建Spark应用程序的一种方式，而无需编写或编译代码。 该库是用Scala编写的，并提供了针对不同版本的Spark和Scala的二进制文件。 开发人员通过提供一个JSON配置文件来构建应用程序，该配置文件由metalus核心库加载并执行。 该项目的文档可以在找到。 可以在找到有关对此项目做出贡献的说明以及有关构建的说明。 专案 有几个子项目： 该项目包含核心库，并且是任何应用程序的最低要求。 此步骤

  3. 所属分类：其它

    • 发布日期：2021-03-17
    • 文件大小：1048576
    • 提供者：weixin_42122306

  1. akka.http.spark.medical:Akka Http Spark医疗应用-源码

  2. Akka Http Spark医疗 该项目包含一个导出嵌入式Akka Http REST服务的应用程序，该服务允许通过Spark作业查询饮食数据。 设计 序列方案： App-创建---> SparkInstance | 服务器| 路由器 App ---检查--->服务器| 路由器| SparkJob | SparkInstance 客户端--- http请求--->路由器 路由器---创建---> SparkJob 路由器---请求---> SparkJob

  3. 所属分类：其它

    • 发布日期：2021-03-16
    • 文件大小：15360
    • 提供者：weixin_42131424

  1. Spark-ML-Platform:有关如何结合Docker，Django，Postgres，Celery和RabbitMQ的示例-源码

  2. Spark-ML平台 以及有关使用这些技术的示例。 启动 docker-compose up --build 该项目试图创建一个MLOps平台。

  3. 所属分类：其它

    • 发布日期：2021-03-16
    • 文件大小：35840
    • 提供者：weixin_42099633

  1. MakeALanguage:尝试用C ++创建编程语言-源码

  2. 欢迎使用Spark！ 这是我尝试使用Faical Tchirou和Ruslan Spivak的教程在C ++中创建一种语言。 如何运行此代码： 转到仓库顶部的“操作”标签。 确保将您的分支设置为“ master”以获取最新版本。 换句话说，您应该在搜索栏中输入以下内容： is:success branch:master 单击顶部的链接。 在“工件”部分中，单击您使用的操作系统：.zip文件应开始下载。 您可能会得到警告，但我向您保证，此代码没有病毒。 按右侧的箭头，然后按“保留”。 打开zi

  3. 所属分类：其它

    • 发布日期：2021-03-15
    • 文件大小：70656
    • 提供者：weixin_42104366

  1. The-Spark-Foundation:回购包含数据科学和业务分析项目BEGINNERINTERMEDIATEADVANCED级别-源码

  2. The-Sparks-Foundation-数据科学实习 数据科学与业务分析任务 任务1-使用监督的ML进行预测（级别-初学者） 根据编号预测学生的百分比学习时间。 这是一个简单的线性回归任务，因为它仅涉及2个变量。 #Task 2-使用无监督的ML进行预测（级别-初学者） 从给定的“虹膜”数据集中，预测最佳聚类数并直观地表示出来。 #Task 6-使用决策树算法进行预测 创建决策树分类器并以图形方式对其进行可视化 目的是，如果我们向该分类器提供任何新数据，它将能够相应地预测正确的分类

  3. 所属分类：其它

    • 发布日期：2021-03-14
    • 文件大小：254976
    • 提供者：weixin_42134234

  1. movie_recommend:基于协同过滤和spark-als的电影推荐系统-源码

  2. 毕业设计-基于Django的电影推荐系统和论坛 说明 新手建议结合pycharm使用， //www.jetbrains.com/pycharm/ 注册普通用户通过web界面来设置，创建用户通过creeatsuperuser创建。 导入电影信息通过insert_movies_scr ipt.py来操作（会删除现有的所有信息！） 前端展示浏览最多，评分最多，收藏最多，写的比较直白，你可以改的委婉点：最热电影，火爆排行...之类的。至少有10条。 我猜你喜欢为基于用户推荐，item推荐为基于项目推

  3. 所属分类：其它

    • 发布日期：2021-03-11
    • 文件大小：12582912
    • 提供者：weixin_42102713

  1. 使用机器学习的数据科学，薪水估计器：这个项目是我个人的经验，它与我的朋友自动化了机器学习算法，我们为了了解该项目的整个生命周期而建立了该算法。 该项目的主要目的是根据地理位置，工作年限等因素来确定数据科学员工的薪水。 这些项目的数据是从玻璃

  2. 数据科学薪酬估算器：项目概述 创建了一个估算数据科学人员薪水（MAE〜$ 11K）的工具，以帮助数据科学家在找到工作时就其收入进行协商。 使用python和selenium从glassdoor上刮取了1000多个工作描述，每个工作描述文本中的工程设计功能可量化公司对python，excel，aws和spark的重视程度。 使用GridsearchCV优化了线性，套索和随机森林回归，以达到最佳模型。 使用Flask构建面向客户的API 网页搜刮（* ） 调整了Web抓取器github repo

  3. 所属分类：其它

    • 发布日期：2021-03-03
    • 文件大小：2097152
    • 提供者：weixin_42121086

  1. Data-Science-Salary-Estimator：创建了一个估算数据科学薪资的工具-源码

  2. 数据科学薪酬估算器：项目概述 创建了一个估算数据科学人员薪水（MAE〜$ 11K）的工具，以帮助数据科学家在找到工作时就其收入进行协商。 使用python和selenium从glassdoor上刮掉了1000多个工作描述 每个职位描述文本中的工程功能可以量化公司在python，excel，aws和spark上的价值。 使用GridsearchCV优化了线性，套索和随机森林回归，以达到最佳模型。 使用Flask构建面向客户的API

  3. 所属分类：其它

    • 发布日期：2021-03-03
    • 文件大小：4194304
    • 提供者：weixin_42161497

  1. Udacity-Datalake-Spark：具有Spark的Udacity数据湖-源码

  2. Sparkify的Data Lake ELT流程 概括 介绍 该项目将为Sparkify提取歌曲和日志数据，以使其更易于理解其数据并对该数据进行分析。 该项目正在使用EMR将数据处理到S3上。 入门 该ELT过程是一个非常简单的过程。 如果这是您第一次运行此项目，则应复制dl.cfg.example文件，并为项目dl.cfg配置参数。 然后在您的本地计算机上： python main.py 该过程将检查目标存储桶是否存在。 如果存在，则该进程将删除存储桶以及该存储桶中的所有内容，然后在s3上

  3. 所属分类：其它

    • 发布日期：2021-02-28
    • 文件大小：510976
    • 提供者：weixin_42133680

  1. sparksetup：测试Spark设置-源码

  2. 火花设置 该项目用于设置Spark基本imgae，可将spark incubator-sedona库用于GeoSpatial数据框。 目前，我正在构建为独立的Images。 未来的任务 将基础映像用于Spark主节点和从节点 创建一个基础Hadoop映像，构建Hadoop群集节点，并在构建Spark-hadoop群集中使用它。 创建本地/分布式。 当前图像中使用的参考 big-data-europe / docker-spark ringcentral-docker / jdk

  3. 所属分类：其它

    • 发布日期：2021-02-21
    • 文件大小：8192
    • 提供者：weixin_42143221

  1. car-or-tree-with-Spark-DL：使用Open Images 2019数据并使用Spark DL将图片分类为汽车或树木-源码

  2. GitHub Classroom创建的2019-big-data-project-sparkles 使用Spark机器学习进行图像分类 2019大数据项目火花 Yoo Na Cha，Nupur Neti，Michael Schweizer 执行摘要 通过这个项目，我们能够： 接触到将图像数据集读取到分布式文件系统中的机会 了解如何配置Spark集群以添加任何必要的库 练习使用Spark处理非常大的非结构化数据集 熟悉使用mllib和sparkdl在Spark中进行机器学习 导航 代码文件 介绍

  3. 所属分类：其它

    • 发布日期：2021-02-20
    • 文件大小：5242880
    • 提供者：weixin_42132352

  1. lab-3-halley-jacob：GitHub Classroom创建的lab-3-halley-jacob-源码

  2. CSCI 3601实验＃3-Angular和Spark实验 在本实验期间，您将使用Angular构建一个基本的客户端应用程序，该应用程序将连接到服务器端的todo API，类似于您在上一个实验中创建的API。 Angular应用程序应使您能够处理用户输入，并以很好的方式显示从服务器返回的数据。 与往常一样，您将充分利用可用的版本控制和项目管理工具： 写好的提交信息 使用分支并提取功能请求 测试事物 记录问题和计划 等等 您可以在此存储库中的文件中找到此实验室的特定任务。 :warning

  3. 所属分类：其它

    • 发布日期：2021-02-20
    • 文件大小：324608
    • 提供者：weixin_42164685

  1. 数据挖掘最终项目：这是使用数据挖掘进行知识发现的最终项目的资源库-源码

  2. 数据挖掘最终项目 这是使用数据挖掘进行知识发现的最终项目的资源库 该项目主要致力于在Apache Spark上实现Logistic回归。 我创建了一个在Arch Linux上运行的集群以创建分布式环境。

  3. 所属分类：其它

    • 发布日期：2021-02-16
    • 文件大小：3072
    • 提供者：weixin_42122986
« 12 3 4 »