开发工具:
文件大小: 4kb
下载次数: 0
上传时间: 2021-03-19
详细说明：数据仓库
介绍
在这个项目中，一家名为Sparkify的新兴公司正在成长，仅通过迁移到云中就可以满足其数据库需求。数据工程团队的任务是建立ETL管道，该管道从S3中的JSON日志中提取信息，并从其应用程序中提取JSON元数据，并将其持久化到托管在AWS Redshift上的PostgresSQL DB。
架构图
有一个事实表（歌曲播放）和四个维度表（歌曲，用户，艺术家和时间）
在Redshift上实现数据库的步骤
在sql_queries.py中为每个表写出CREATE / DROP SQL语句
创建Redshift集群和IAM角色
在dwh.cfg文件中输入必要的信息（主机，数据库名称，数据库用户，数据库密码，数据库端口），这将使我们能够将变量输入到create_tables.py中，以便我们可以连接到postgres数据库
必须写出复制逻辑，以便将S3数据移至Redshift上的登台表
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
