没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
Skytrax数据仓库 完整的数据仓库基础架构,其ETL管道在Apache Airflow上的docker上的docker内部运行,用于数据编排,用于云数据仓库的AWS Redshift和用于满足数据可视化需求(例如分析仪表板)的Metabase。 建筑 数据仓库包括以下各个模块: 总览 数据是从 获得的。 收集的数据存储在本地磁盘上,并及时移至AWS S3上的Landing Bucket。 ETL作业是用SQL编写的,并且以气流的形式进行调度,以每小时运行一次,以保持云数据仓库中数据的新鲜度。 资料建模 以下是事实和维度表: 尺寸表 aircrafts airlines passenger
资源推荐
资源详情
资源评论
收起资源包目录
Skytrax-Data-Warehouse-master.zip (24个子文件)
Skytrax-Data-Warehouse-master
.gitignore 6KB
requirements.txt 12B
LICENSE 1KB
docker-compose.yml 1KB
README.md 5KB
imgs
gantt.PNG 16KB
dashboard1.png 430KB
dag.PNG 26KB
treeview.PNG 24KB
skytrax-warehouse.png 101KB
skytrax.png 4KB
architecture1.png 63KB
dag_view.PNG 17KB
dashboard2.png 763KB
airflow
dags
skytrax_etl_pipeline.py 6KB
plugins
__init__.py 513B
helpers
__init__.py 75B
sql_queries.py 21KB
operators
data_quality.py 1KB
load_fact.py 904B
__init__.py 440B
source_to_redshift.py 2KB
load_dimension.py 1KB
create_tables.py 916B
共 24 条
- 1
资源评论
信念与梦想
- 粉丝: 40
- 资源: 4659
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功