数据仓库维度建模实践-模型设计-网易03.pdf

数据仓库维度建模实践模型设计 在数据仓库维度建模实践中，模型设计是非常重要的一步。它强调从业务、数据存取和使用角度合理存储数据，以满足企业数仓的要求：强稳定、高质量、高效率、低成本。 一、数据仓库维度建模的痛点 在数据仓库维度建模中，我们会遇到许多痛点，例如： * 一个需求一个模型，要膨胀了 * 原来的模型跑的时间越来越长了 * 有些KPI指标要早点出来，但是受模型里个别指标硬生生的拖慢了速度 * 发现一个bug，想快速补数据，发现只能串行一天天的跑 * 怎么好多模型的指标有重复咧 * 这个指标长的一样，咋定义不一样呢 * 怎么同样口径的指标，从不同的表计算，数值不一样呢 * 这咋每天都在延迟报警诶？每天都要运维，心塞塞 这些痛点都是由于数据模型设计不良所导致的。因此，我们需要设计一个好的数据模型，以满足业务需求和非功能性需求。 二、搭建模型架构 在搭建模型架构中，我们需要确定整体数仓建设的基调。我们可以将模型架构分为四层：DWD、DWS、DIM和ADS。 * DWD：存放面向业务过程的明细事实数据，做一些数据清洗和规范化等。 * DWS：面向分析主题建模，这里要说明的是，云音乐DWS层的基架是轻度汇总事实表，这里做了一些常用的退化维，基本要求是：大部分指标都可以从轻度汇总层上计算得出。 * DIM：所有实体的维度，云音乐含有不同身份的用户和多种类的内容实体，所以会有大量的维度模型 * ADS：数据集市层。基于DWS和DIM表，云音乐建设了大量面向应用的数据集市。 三、建模流程 在建模流程中，我们需要按照下面流程进行： * 定下数仓的基调，即模型架构 * 确定横向模型层的任务 * 确定下纵向数据域下各业务线的建设模式 * 设计模型 四、模型设计方法论 在模型设计中，我们需要遵循一些基本原则和设计方法。这些原则包括： * 高内聚低耦合 * 核心模型与扩展模型分离 * 公共处理逻辑下沉 * 成本与性能平衡 * 数据可回滚 * 一致性 * 命名清晰 这些原则可以指导我们设计一个好的数据模型，以满足业务需求和非功能性需求。