第2章-- 数据处理伦理
1
活动:
1.评审现有数据处理方法
2.识别原则、实践和风险因素
3.制定合乎伦理的数据处理策略和路线图
(1)价值观申明;
(2)符合伦理的数据处理原则;
(3)合规框架;
(4)风险评估;
(5)培训交流;
(6)路线图;
(7)审计与监测
4.采用对社会负责的伦理模型
1.商业竞争优势
2.提高组织和数据处理可行度
3.降低风险
1.对人的影响
2.滥用的可能
3.数据的经济价值
数据伦理问题核心
1.尊重他人
2.行善原则
3.公正
4.尊重法律和公众利益
数据伦理准则
1.公平、合法、透明
2.目的限制
3.数据最小化
4.准确性
5.存储限制
6.诚信和保密
7.问责制度
欧盟数据保护条例GDPR
1.时机选择
2.可视化误导
3.定义不清晰或无效比较
4.偏见
(1)预设结论的数据集
(2)预感和搜索
(3)片面抽样方法
(4)背景和文化
5.转化和集成数据
(1)对数据来源和血缘了解有限
(2)质量差的数据
(3)不可靠的元数据
(4)没有数据修订历史文档
6.数据混淆和修订
(是进行信息脱敏和不公开的常用方法)
(1)数据聚合
(2)数据标记
(3)数据脱敏
违背伦理进行数据处理的风险
1.数据所有权
2.被遗忘的权利
3.身份
4.在线言论自由
在线数据伦理环境
第3章--数据治理
2
定义:对数据资产管理行驶权利、控制和共享决策(规划、监测和执行)的系列活动
目标:
1.提升企业管理数据资产能力
2.定义、批准、沟通和实施数据管理的原则、政策、指标、工具和责任。
3.监控和指导政策合规性、数据使用和管理活动
技术:
l 信息简洁
l 联系人列表
l 图标
度量:
l 遵从法规和内部数据规范
l 价值
l 有效性
l 持续性
输入
l 业务策略和目标
l IT策略和目标
l 数据管理和数据策略
l 组织原则&标准
l 商业文化评估
l 数据管理成熟度评估
l IT实践
l 监督要求
活动
1.规划组织的数据治理(P)
1.执行就绪评估
2.探索与业务保持一致
3.制定组织触点
2.制定数据治理策略(P)
1.制定数据治理运营框架
2.制定目标、原则和制度
3.推动数据管理项目
4.参与变革管理
5.参与问题管理
6.评估法规遵从性要求
3.实施数据治理(O)
1.发起数据标准和过程
2.制定业务术语表
3.与构架组织协调合作
4.发起数据价值评估
4.嵌入数据治理(C.O)
交付成果:
l 数据治理策略
l 数据策略
l 业务/数据治理行动路线图
l 数据规范,数据治理策略,过程
l 操作框架
l 路线图和实现策略
l 操作计划
l 业务术语
l 数据治理计分卡
l 数据治理网站
l 沟通计划
l 识别数据价值
l 成熟度评估实践结果
提供者:
l 业务人员
l 数据专员
l 数据所有者
l 领域专家
l 成熟度评估专家
l 监管方
l 企业构架师
参与者:
l 管理委员会
l 首席信息管
l 首席数据管/数据管
理专员
消费者:
l 数据治理机构
l 项目管理者
l 合规团队
l 数据管理相关利益方
l 数据管理团队
l 业务管理方
l 构架师
l 合作伙伴组织
业务驱动
l 合规团队
l DM 高管
l 变更管理者
l 企业数据构架师
l 项目管理办公室
l 治理组织
l 审计人员
l 数据专家
技术驱动
工具:
l 网站
l 业务术语工具
l 工作流工具
l 文档管理工具
l 数据治理计分卡 (数据治理活动和法规遵从性)
目标
1.提升企业管理数据资产能力;2.定义、批准、沟通和实施数据管理的原则、政策、程序、指标、工具和责任;3.监控和指导政策合规性、数据使用和管理活动
1.减少风险
(1)一般性风险管理
(2)数据安全
(3)隐私
2.改进流程
(1)法规遵从性
(2)数据质量提升
(3)元数据管理
(4)项目开发效率
(5)供应商管理
1.领导力和战略
2.业务驱动
3.共担责任
4.多层面
5.基于框架
6.原则导向
原则
第4章--架构管理框架
消费者:
• 数据库管理员
• 软件开发人员
• 项目经理
• 支持团队
参与者:
• 企业数据架构师
• 数据建模师
供应者:
• 企业架构师
• 数据管理员
• 专业领域专家
• 数据分析师
定义:识别企业的数据需求(无论数据结构如何),并设计和维护总蓝图以满足这些需求。使用总蓝图来指导数据集
成、控制数据资产,并使数据投资与业务战略保持一致。
目标:
1. 识别数据存储和处理需求。
2. 设计结构和计划以满足企业当前和长期的数据需求。
3. 战略性地为组织做好准备,快速发展其产品、服务和数据,以利用新兴技术中固有的商机。
活动:
1. 建立企业数据架构(P)
1. 评估现有数据架构规范
2. 制定路线图
3. 管理项目中的企业需求
2. 与其他企业架构集成(O)
投入:
• 企业架构
• 业务架构
• IT 标准和目标
• 数据策略
产出:
• 数据架构设计
• 数据流
• 数据价值链
• 企业数据模型
• 实施路线图
技术:
• 生命周期预测
• 图标使用规范
工具:
1.数据建模工具(建模工具,血缘分析工具,逆向生成模型工具)
2.资产管理软件 (元数据库,数据资产目录,数据地图,影响工具)
3.图形设计应用程序(数据流向图,数据地图展示工具,信息价值链)
指标:
• 架构标准接受率
• 实现趋势
• 业务价值度量指标
计划(P)、控制(C)、开发(D)、操作(D)
业务驱动
技术驱动
3
1.利用新技术所带来的业务优势,从战略上
快速改变产品、服务和数据;
2.将业务需求转换为数据和应用需求,以确
保能够为业务流程处理提供有效数据;
3.管理复杂数据和信息,并传递整个企业;
4.确保业务和IT技术保持一致;
5.为企业改革、转型和提高适应性提供支撑。
1.元素
数据模型、数据定义、数据映射规范、
数据流、结构化数据应用编程接口
2.依赖项
管理业务架构创建和需要的数据
企业数据架构
第5章--数据建模和设计
定义:数据建模是发现、分析和确定数据需求的过程,然后采用数据模型的精确形式表示
和传递这些数据需求。这个过程是循环迭代的,可能包括概念、逻辑和物理模型。
目标:
1.确认并记录不同视角对数据需求的理解;2.确保应用程序更符合当前和未来的业务需求;3.为更
多数据应用或数据管理奠定一个良好的基础,例如主数据管理和数据治理项目。
业务驱动
输入:
1. 现有的数据库模型和数据库
2. 数据标准
3. 数据集
4. 初始数据需求
5. 原始数据需求
6. 数据架构
7. 企业分类法
活动:
1.规划数据建模(P)
2.建立数据模型(D)
1. 创建概念数据模型
2. 创建逻辑数据模型
3. 创建物理数据模型
3.审核数据模型(C)
4.维护数据模型(O)
交付成功:
l 概念数据模型
l 逻辑数据模型
l 物理数据模型
供应者:
l 业务领域专家
l 业务分析师
l 数据架构师
l 数据库管理员与开发者
l 主题专家
l 数据管理专员
l 元数据管理员
参与者:
l 业务分析师
l 数据建模师
消费者:
l 业务分析师
l 数据建模师
l 数据库管理员与开发者
l 软件开发人员
l 数据管理专员
l 数据质量分析师
l 数据消费者
技术驱动
技术:
l 命名规范
l 数据库设计规范
l 数据库类型选择
工具:
l 数据建模工具
l 数据血缘工具
l 元数据资料库
指标:
l 数据模型校验指标
(P) 计划. (C)控制. (D) 开发.(O)运营 .
l 数据模型模式
l 行业数据模型
1.性能和易用性
2.可重用性
3.完整性
4.安全性
5.可维护性
模型记分卡:
1.模型多大程度反映业务需求(15′)
2.模型完整度如何
3.模型结构如何
————————
4.模型与模式匹配度(10′)
5.模型通用性
6.模型定义
7.与元数据匹配程度
-------------------------------
8.模型遵循命名的标准情况如何(5′)
9.模型可读性如何
10.模型与企业架构的一致性如何
1.提供有关数据的通用词汇表
2.获取、记录组织内数据和系统的详细信息;
3.在项目中作为主要的交流工具
4.提供了应用定制、整合,甚至替换的起点
1.关系建模
(1)信息工程IE
(2)信息建模集成定义(IDEF1X)
(3)巴克符合(Barker Notation)
(4)陈氏符号(Chen)
2.维度建模 【维度(Dimensional)】
3.面向对象建模【统一建模语言(UML)】
4.基于事实建模
(1)对象角色建模(0RM2)
(2)完全面向交流的信息建模(FCO-IM)
5.基于时间建模
(1)数据拱顶模型(Data Vault)
(2)锚建模(Anchor Modeling)
6.非关系型建模【文档(Document) 列(Column )图(Graph) 键值(Key-Value)】
数据建模方法
第6章--数据存储和操作
输入:
• 数据架构
• 数据需求
• 数据模型
• 服务水平协议
定义:数据存储的设计、实现和支持,以使其价值最大化。
活动:
1.管理数据库技术
1.了解数据库技术(P)
2.评估数据库技术(D)
3.管控和监控数据库技术(O)
2.数据库运营管理
1.理解需求(P)
2.业务连续性计划(P)
3.开发数据库实例(D)
4.管理数据库性能(C,O)
5.管理测试数据集(O)
6.管理数据迁移(O)
交付成果:
• 数据库技术评估标准
• 数据库环境
• 移动/复制/版本 数据
• 业务连续性计划
• 数据库性能OAL
工具:
• 数据模型工具
• 数据库监控工具
• 数据库管理工具
• 开发支出工具
技术:
• 变更实施路径
• 物理命名标准
• 数据生命周期管理
• 脚本变更
指标:
• 数据存储指标
• 性能指标
• 运营指标
• 服务指标
(P)—计划
(C)—控制
(D)—开发
(O)—操作
1.在整个数据生命周期中管理数据的可用性。
2.确保数据资产的完整性。
3.管理数据事务的性能。
目标:
提供者:
• 数据架构师
• 数据模型
• 软件开发者
• 应用程序测试团队
消费者:
• 数据模型师
• 软甲开发者
• 应用程序测试团队
• 运营管理人员
参与者:
• 数据库管理员
• 数据架构师
业务驱动
技术驱动
5