没有合适的资源?快使用搜索试试~ 我知道了~
数据治理之数仓命名规范大全.pdf
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
5星 · 超过95%的资源 2 下载量 140 浏览量
2023-05-30
16:53:50
上传
评论
收藏 3.29MB PDF 举报
温馨提示
试读
8页
一、数据运营层:ODS(Operational Data Store) ODS层,是最接近数据源中数据的一层,为了考虑后续可能需要追溯数据问题,因此对于这一层就不建议做过多的数据清洗工作,原封不动地接入原始数据即 可,至于数据的去噪、去重、异常值处理等过程可以放在后面的DWD层来做。 二、数据仓库层:DW (Data Warehouse) 数据仓库层是我们在做数据仓库时要核心设计的一层,在这里,从 ODS 层中 获得的数据按照主题建立各种数据模型 。DW 层又细分为DWD(Data Warehouse Detail )层、DWM(DataWareHouse Middle )层和DWS(Data WareHouse Servce ) 。
资源推荐
资源详情
资源评论
数仓命名规范大全!
01 数据分层
一、数据运营层:ODS(Operational Data Store)
ODS层,是最接近数据源中数据的一层,为了考虑后续可能需要追溯数据问题,因此对于这一层就
不建议做过多的数据清洗工作,原封不动地接入原始数据即可,至于数据的去噪、去重、异常值处
理等过程可以放在后面的DWD层来做。
二、数据仓库层:DW (Data Warehouse)
数据仓库层是我们在做数据仓库时要核心设计的一层,在这里,从 ODS 层中 获得的数据按照主
题建立各种数据模型 。DW 层又细分为DWD(Data Warehouse Detail )层、DWM(Data
WareHouse Middle )层和DWS(Data WareHouse Servce )。
1. 数据明细层:DWD (Data Warehouse Detail)
该层一般保持和ODS层一样的数据粒度 ,并且提供一定的数据质量保证 。
DWD层要做的就是将数据清理、整合、规范化、脏数据、垃圾数据、规范不一致的、状态定义不
一致的、命名不规范的数据都会被处理。
同时 ,为了提高数据明细层的易用性 ,该层会采用一些维度退化手法 ,将维度退化至事实表中,
减少事实表和维表的关联。另外,在该层也会做一部分的数据聚合,将相同主题的数据汇集到一 张
表中 ,提高数据的可用性 。
2. 数据中间层:DWM (Data WareHouse Middle)
该层会在 DWD 层的数据基础上,对数据做轻度的聚合操作,生成一系列的中间表,提升公共指标
的复用性, 减少重复加工。直观来讲 , 就是对通用的核心维度进行聚合操作, 算出相应的统计指
标。
在实际计算中 , 如果直接从 DWD 或者 ODS 计算出宽表的统计指标 , 会存在 计算量太大并且
维度太少的问题,因此一般的做法是,在 DWM 层先计算出多个小的 中间表 ,然后再拼接成一 张
资源评论
- 你是你的阳光2023-12-11发现一个宝藏资源,赶紧冲冲冲!支持大佬~
- lynnchua2023-11-01感谢大佬分享的资源给了我灵感,果断支持!感谢分享~
AIGC方案
- 粉丝: 579
- 资源: 2127
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 蓝桥杯2024年第十五届省赛真题-前缀总分
- com.qihoo.appstore_300101305-1.apk
- tensorflow-gpu-2.7.1-cp37-cp37m-manylinux2010-x86-64.whl
- tensorflow-2.7.2-cp37-cp37m-manylinux2010-x86-64.whl
- tensorflow-2.7.1-cp39-cp39-manylinux2010-x86-64.whl
- 蓝桥杯2024年第十五届省赛真题-传送阵
- com.qihoo.appstore_300101305.apk
- linux之线程同步一.doc
- keil5配色方案10种
- python烟花代码.doc
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功