大数据集市建设及数据管理方法 目录 数据集市 数据集市 数据集市: – 数据仓库的子集 – 经过ETL流程的一定粒度汇总数据 – 面向部门级业务 – 针对特定主题的数据集 – 星型模式(不遵循3NF结构) – 缓解仓库访问瓶颈 实现方式: – 独立型(Ralph Kimball) 仓库是集市的联合 数据来源于业务系统 首先满足数据展示的需求 必需统一的数据仓库建设思想协调 – 从属型(Bill Inmon) 集市是仓库的子集 数据来源于仓库 提供更强的数据一致性和灵活性 长期规划 实现目的 – 合并不同系统数据源 – 非实时更新数据的访问 – 信息发布面向特定用户群体 – 合理的查询响应时间 – 快速一致的视图访问 – 独立型 – 从属型 实现步骤: – 定义商业目标 – 理解数据源 – 确定汇总粒度 – 定义数据模型 实现原则: – 统一构建 – 总体指导 – 稳定性 – 可适应性 – 可扩展性 数据分层架构 数据 业务数据 业务数据 业务数据 外部数据 数据仓库 应用数 据层 元数据 基础数据层 事实、维 集市 集市 过渡区 集市 主题分类 ... 针对性营销数据集市 基于EDW/