文件名称:
aws-lambda-etl-ref-architecture：此参考架构演示了如何使用AWS Step Functions与AWS Lambda协调提取传输负载（ETL）工作流程-源码
开发工具:
文件大小: 64kb
下载次数: 0
上传时间: 2021-02-15
详细说明：无服务器参考体系结构：提取传输负载
此参考架构演示了如何使用与协调提取传输负载（ETL）工作流程。
该解决方案处理全球空气质量数据，AWS注册表中提供获取开放数据。 它每天生成空气质量测量的最小，最大和平均等级。 ETL工作流程将必须手动触发，但是可以使用轻松地定期计划。 转换完成后，将通过电子邮件将S3位置通知您汇总数据。
建筑学
应用组件
该架构使用AWS Step Functions协调数据管道的提取，传输和加载阶段。 所有状态均由Lambda函数支持。
提取阶段
第一步是状态。 此功能列出了前一天的OpenAQ S3存储桶（openaq-fetches）的内容，并将文件分为6组，每组24个文件。 一天中的每个小时生成六个文件。 因此，我们将每组中4个小时的价值数据分组。 尽管所有文件的大小都不相同，但这会导致每个集中的数据分布大致均匀。 这六组文件的列表将传递到状态机中的下一步。
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
