没有合适的资源?快使用搜索试试~ 我知道了~
Datawarehouse
共5个文件
py:3个
md:1个
cfg:1个
需积分: 5 0 下载量 128 浏览量
2021-03-19
03:15:06
上传
评论
收藏 4KB ZIP 举报
温馨提示
数据仓库 介绍 在这个项目中,一家名为Sparkify的新兴公司正在成长,仅通过迁移到云中就可以满足其数据库需求。数据工程团队的任务是建立ETL管道,该管道从S3中的JSON日志中提取信息,并从其应用程序中提取JSON元数据,并将其持久化到托管在AWS Redshift上的PostgresSQL DB。 架构图 有一个事实表(歌曲播放)和四个维度表(歌曲,用户,艺术家和时间) 在Redshift上实现数据库的步骤 在sql_queries.py中为每个表写出CREATE / DROP SQL语句 创建Redshift集群和IAM角色 在dwh.cfg文件中输入必要的信息(主机,数据库名称,数据库用户,数据库密码,数据库端口),这将使我们能够将变量输入到create_tables.py中,以便我们可以连接到postgres数据库 必须写出复制逻辑,以便将S3数据移至Redshift上的登台表
资源推荐
资源详情
资源评论
收起资源包目录
Datawarehouse-main.zip (5个子文件)
Datawarehouse-main
etl.py 727B
README.md 1KB
sql_queries (13).py 5KB
dwh.cfg 384B
create_tables.py 716B
共 5 条
- 1
资源评论
徐志鹄
- 粉丝: 17
- 资源: 4661
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功