文件名称:
DataEngineer_CapstoneProject-源码
开发工具:
文件大小: 2mb
下载次数: 0
上传时间: 2021-03-15
详细说明：Capstone专案：用于串流推文的ETL管道
目的
这个Capstone项目开发了一个ETL管道，该管道从S3存储桶中加载包含推文的原始.json文件，将其转换并清理为下面指定的架构，然后将它们作为木地板文件存储在另一个S3存储桶中。
另一个数据输入源是金钱事件。 为此，将创建另一个数据集，其中包含
数据
主要有两个数据源：一个S3存储桶，其中包含来自Twitter API的带有推文的最新原始json文件，以及一个包含所有货币事件的文件。 此存储库中也生成了这些货币事件的代码，因此可以随时再次更新事件。
文件概述
如何使用这个储存库
将AWS访问密钥和机密以及存储桶信息和电子邮件添加到.cfg文件
在本地运行read_monetary_policy_decisions.py以从ecb网站上刮取货币政策决定日期的日期
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
