注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. bigquery-views-manager:BigQuery视图管理器-源码

  2. BigQuery视图管理器 维护BigQuery视图的实用程序项目。 主界面是CLI。 主要特点： 在GCP和本地文件系统之间同步BigQuery视图 实现视图（通过运行视图并将其保存到表中）： 现已作为Pre-GA提供 先决条件 的Python 3 适用于 安装 pip install bigquery-views-manager 配置 查看SQL文件 视图查询SQL代码假定与.sql文件一起存在于文件中。 默认情况下，它们将位于views目录中。 这些文件可以包含以下变量的占位符（

  3. 所属分类：其它

    • 发布日期：2021-03-17
    • 文件大小：41984
    • 提供者：weixin_42160278

  1. Streaming-Pipeline-using-Dataflow-源码

  2. 使用DataFlow进行流传输管道（正在建设中） 这是使用Python存储库的Apache Beam简介的一部分。 在这里，我们将尝试学习Apache Beam的基础知识来创建Streaming管道。 我们将逐步学习如何使用创建流式传输管道。 完整的过程分为5个部分： 从Pub Sub读取数据 解析数据 过滤数据 执行类型转换 数据争吵 删除不需要的列 在Bigquery中插入数据 动机 在过去的两年中，我一直处于良好的学习曲线中，在此过程中，我提高了自己的技能，进入了机器学习和云计算领域。

  3. 所属分类：其它

    • 发布日期：2021-03-10
    • 文件大小：497664
    • 提供者：weixin_42117082

  1. BigScaleAnalytics-源码

  2. 大规模分析（UNIL） 大型分析课程的资料库-洛桑大学 第一周：基于云的服务简介 第2周：使用PythonSQL（Python + SQLite） 第3周：云上SQL（BigQuery） 第四周：数据清理和准备 第5周：实体解析/重复检测 第6周：NoSQL-文本分析-Elasticsearch 第7周：文本分析-Elasticsearch 第8周：使用Python Flask构建Web服务 第9周：关联规则 第十周：Docker 第11周：神经网络 第12周：图形分析

  3. 所属分类：其它

    • 发布日期：2021-03-08
    • 文件大小：347136
    • 提供者：weixin_42110533

  1. github_analysis-源码

  2. Github档案 使用Google BigQuery API处理Github存档数据集，并使用Flask和Dash框架对其进行可视化。 托管在Heroku 演示版 安装 克隆仓库并运行命令pip install -r requirements.txt 如果需要，请在python之前先设置venv 运行应用 执行main.py文件 python main.py 查看应用 在本地浏览器中打开 https://localhost:8050 PS此应用需要访问Google BigQuery的API

  3. 所属分类：其它

    • 发布日期：2021-03-01
    • 文件大小：78643200
    • 提供者：weixin_42131633

  1. 大查询-源码

  2. 大查询 概括 BigQuery_Helper是一个帮助程序类，用于简化常见的只读BigQuery任务。 它使您在学习SQL时很容易执行查询，并为使用核心BigQuery python API的路径提供了方便的垫脚石。 您可以通过分叉此Kaggle内核自行尝试。 安装 您可以在控制台中使用以下命令安装BigQuery_Helper： 点安装-e git + 如果您不在Kaggle上运行BigQuery_Helper，则还需要完成标准的BigQuery客户端设置和身份验证过程。 此存储库仅在

  3. 所属分类：其它

    • 发布日期：2021-02-25
    • 文件大小：3072
    • 提供者：weixin_42153801

  1. readthedocs：Google基因组学食谱文档-源码

  2. 警告：Google Genomics现在是Cloud Life Sciences。 未积极维护有关阅读文档的Google基因组学食谱，其中可能包含错误或过时的信息。 该菜谱仅供历史参考。 有关最新文档，请访问查看官方的Cloud Life Sciences文档。 还要注意，Genomics v1 API的大部分表面已被和取代。 欢迎加入 GitHub组织！ 是Google基因组学的新手吗？ 观看此代码实验室演练： 使用Google BigQuery进行。 浏览 。 有在github上

  3. 所属分类：其它

    • 发布日期：2021-02-25
    • 文件大小：1048576
    • 提供者：weixin_42146274

  1. gcp_beam_pubsub_bigquery：GCP数据流项目，使用pubsub事件，处理数据，将数据保存到大查询并执行流分析-源码

  2. 具有数据流的GCP-PubSub-BigQuery 描述 此Python项目在Google Cloud Platform（GCP）上设置了以下工作组件 将消息名称，操作和created_at时间戳发布到GCP主题 从主题的订阅中订阅消息并打印出消息 执行以下任务的Apache Beam数据流 接受输入参数以收听GCP主题或订阅 接受输入参数以通过一些数据转换将事件数据保存到大查询中 使用10秒的窗口和30分钟的允许延迟水印进行流分析 流式分析汇总窗口中提到名称的时间并打印出来 先决条件 为了运行

  3. 所属分类：其它

    • 发布日期：2021-02-25
    • 文件大小：12288
    • 提供者：weixin_42169971

  1. python-bigquery-源码

  2. 适用于Google BigQuery的Python客户端 如果没有合适的硬件和基础架构，查询海量数据集可能既耗时又昂贵。 Google 利用Google基础架构的处理能力，通过对大多数附加表启用超快速SQL查询来解决此问题。 快速开始 为了使用此库，您首先需要完成以下步骤： 安装 使用pip在安装此库。 是用于创建隔离的Python环境的工具。 它解决的基本问题是依赖项和版本之一，以及间接权限。 使用 ，可以安装该库而无需系统安装权限，也不会与已安装的系统依赖性发生冲突。 支持的Pyth

  3. 所属分类：其它

    • 发布日期：2021-02-18
    • 文件大小：700416
    • 提供者：weixin_42151373

  1. bigquery-etl：Bigquery ETL-源码

  2. BigQuery ETL 该存储库包含Mozilla数据团队的 不需要自定义容器的派生ETL作业 用户定义函数（UDF） 用于计划的bigquery-etl查询的气流DAG 查询和UDF部署，管理和计划工具 快速开始 确保Python 3.8+在您的计算机上可用（如果您使用的是Mac，并且未安装默认系统Python以外的任何软件，请参阅以获取说明。） 安装和设置GCP命令行工具： （对于不在数据工程领域的Mozilla员工或贡献者）， 设置GCP命令行工具。 请注意，某些功能（例如编写

  3. 所属分类：其它

    • 发布日期：2021-02-18
    • 文件大小：2097152
    • 提供者：weixin_42123456

  1. Google-BigQuery：SQL寻宝游戏-源码

  2. Google-BigQuery SQL清道夫搜寻 我开始阅读有关大数据的文章，我对Google如何为我们提供访问大数据集（即千兆字节，太字节等）的平台感到惊讶。 今天，我在Kaggle上成功完成了SQL Scavenger Hunt，这使我有了使用Google BigQuery的良好开端。 通过在python平台上编写SQL查询进行分析，我使用BigQuery提取了公共的大型数据集，例如global_air_quality，黑客新闻，美国交通事故记录，比特币和GitHub（其中有数以百计的数据

  3. 所属分类：其它

    • 发布日期：2021-02-16
    • 文件大小：146432
    • 提供者：weixin_42138716

  1. 天文台报告-源码

  2. COVID报告 天文台团队-数字化转型局 该分析的目的是通过冠状病毒观察过去一年中用户行为的变化。 数据来自使用SQL命令通过BigQuery提取的GA 360。 然后将其作为csv导入Python或R中以进行查看。 在这个github存储库中，存储了所有的python，R和SQL代码。 环境变量 为了运行代码，请定义一个环境变量，如下所示，其中包含工作目录以及R文件的“数据”文件夹。 WORKING_DIRECTORY= 脚本说明 我们研究了6个常规主题，如下所示： 1.用户兴趣 该脚本

  3. 所属分类：其它

    • 发布日期：2021-02-16
    • 文件大小：6291456
    • 提供者：weixin_42133918

  1. Senthilraj-Srirangan-源码

  2. 关于 我是一名数据专业人员，在Home Depot报价中心担任高级数据工程。 我也是贝尔维尤大学（Bellevue University）的研究生，我的数据科学硕士学位将于2021年3月完成。我在构建数据管道和数据体系结构方面拥有丰富的经验。 我对零售领域有很好的了解。 持续学习是我增加的力量。 技术的： #SQL #Python #BigQuery #Kafka #Google Cloud Platform #Tableau #Spark #Airflow #ETL-Matillion，

  3. 所属分类：其它

    • 发布日期：2021-02-14
    • 文件大小：44032
    • 提供者：weixin_42116604

  1. 数据可视化-源码

  2. 芝加哥犯罪数据-交互式仪表板 此交互式仪表板按2019年犯罪记录绘制芝加哥市地图。该仪表板显示芝加哥市的choropleth地图，该县的犯罪记录按颜色标明了各县的颜色，数据表和犯罪类型的水平条形图。 输入数据 此仪表板的源数据是从提取的 数据提取-使用Python库bigquery从Google云中提取数据。 使用此可以弄清楚创建Google API凭据的步骤。 运行以下代码片段以获取数据。 pip install - - upgrade google - cloud - bigquery

  3. 所属分类：其它

    • 发布日期：2021-02-14
    • 文件大小：12582912
    • 提供者：weixin_42111465

  1. Personal_Projects：Python和SQL bigquery中的个人项目的集合-源码

  2. 个人项目 Python和SQL bigquery中的个人项目的集合 ML测试工具 用于对受监督机器学习任务进行常规测试的python类。 计算指标并将结果存储在字典中，以便按指标自定义排序。 包括用于缩放和估算值的功能。 请参阅ml_test_tool_example以获取较长形式的使用教程。 数据可视化包 一个Python软件包，其中包含用于处理matplotlib / seaborn图的数据，格式设置，绘图，注释和字幕的类。 有一个通用的绘图类为条形图和线条图类提供了继承性。 可以在dev

  3. 所属分类：其它

    • 发布日期：2021-02-13
    • 文件大小：25165824
    • 提供者：weixin_42116672

  1. opendata：PYTHON 3-有趣的开放数据项目。 从魁北克开放数据网站转换的公共合同数据库，以获取2009年至2017年的SEAO信息（最新更新：2017年3月）-源码

  2. SEAO开放数据分析 该项目将清理并转换要加载到Google BigQuery数据集中的魁北克省的公共RFP数据。 使用python加载XML数据，清除不需要的字符并将信息转换为以新行分隔的Json文件 。 2009年至2017年的数据质量分析 入门 将项目和所有XML文件下载到工作目录。 运行python seao.py将所有XML数据转换为JSONL。 可能需要几个小时才能执行。 先决条件 必须安装python 3。 使用ANACONDA开发。 必须安装以下库：编解码器，xmltodict

  3. 所属分类：其它

    • 发布日期：2021-02-11
    • 文件大小：82837504
    • 提供者：weixin_42119989

  1. aqandu_live_site：这是网站的实时版本，现在托管在aqandu.org上-源码

  2. AQandU 这些是设置Python虚拟环境和AQandU前端的说明。 我们使用Python 3的最新版本（在GCP上），在撰写本文时为3.7。 这些说明假定您在本地安装了python 3.7和pip。 目录 开发环境快速入门 该项目使用pipenv进行python软件包版本管理，因此请确保已安装。 如果您需要设置说明，请。 安装pipenv ，您可以设置虚拟环境并使用pipenv install安装所有python依赖pipenv install 。 现在，使用cp .env.prod .

  3. 所属分类：其它

    • 发布日期：2021-02-11
    • 文件大小：17825792
    • 提供者：weixin_42125770

  1. sfb：用于Google BigQuerySQL测试器和成本估算器-源码

  2. sfb sfb可帮助SQL测试和估算取决于扫描量的服务成本。 描述 检查SQL语法 免费估算查询费用 每次运行 每月 自动替换查询参数 在持续集成中很有用 使用dryrun include 安装 $ pip install sfb 要求 Python> = 3.6 Jupyter笔记本 Google合作实验室 google-cloud-bigquery> = 2.6.1 pyyaml> = 5.4.1 用法 估算查询费用 # If runs with no argumen

  3. 所属分类：其它

    • 发布日期：2021-02-09
    • 文件大小：14336
    • 提供者：weixin_42165973

  1. 产品组合：专业数据科学产品组合-源码

  2. 克雷格·弗莱施曼（Craig Fleischman）（ ） 学位： Ber加州大学伯克利分校数据科学硕士（正在进行中） Seattle西雅图大学MBA（完成） ⦁普吉特海湾大学计算机科学/商业与经济学学士学位（已完成） 专业发展与认可： ⦁微软金星| 多年接收人⦁联合健康集团执行领导力计划⦁沃顿商学院高管教育⦁微软高管高潜力计划 到2020年1月的数据科学课程： Data数据科学的Python编程：Python，Numpy，Pandas ⦁研究设计与应用⦁统计与线性回归：R，LaTe

  3. 所属分类：其它

    • 发布日期：2021-02-05
    • 文件大小：18874368
    • 提供者：weixin_42121412

  1. bigquery_fdw：适用于PostgreSQLBigQuery外部数据包装器-源码

  2. bigquery_fdw：适用于PostgreSQLBigQuery外部数据包装器 bigquery_fdw是使用PostgreSQL BigQuery外部数据包装器。 它允许使用外部表以PostgreSQL SQL语法编写查询。 它支持BigQuery的大多数和。 特点和局限性 支持表分区。 。 查询发送到BigQuery时已参数化 BigQuery的标准SQL支持（不支持旧版SQL） 身份验证使用“” Json私钥进行 。 要求 PostgreSQL> = 9.5 Pytho

  3. 所属分类：其它

    • 发布日期：2021-02-05
    • 文件大小：83968
    • 提供者：weixin_42097450

  1. Python_BigQuery_Schema_Autogen：从JSON文件自动生成Python BigQuery对象-源码

  2. BigQuery Autogen架构 这是一个用于将.JSON字符串（在JSON文件内部）转换为可接受的Python BigQuery架构列表的工具。 这不是完全完全的证明，因为对JSON文件中的键/值对的支持（其中值是由空格分隔的字符串）无法正确解析。 打开任何补丁程序（或者我有时会对其进行补丁程序）。 例： JSON输入文件 cat testcase/test.json {"elements_0_role": "PERSON", "elements_0_roleAssignee": "u

  3. 所属分类：其它

    • 发布日期：2021-02-04
    • 文件大小：7168
    • 提供者：weixin_42131541
« 12 »