数据分析之道
第1篇、数据思维
第2篇、数据指标体系
第1章、数据思维是什么
宏观意义：数据思维是数据分析师分析问题的思路和角度
数据治理：数据治理是逐步实现数据价值的过程
数据治理流程
数据分析师在流程中所需的数据思维
理：梳理业务流程，规划数据资源
采：数据采集
存：大数据高性能存储及管理
用：即时查询、报表监控、智能分析、模型预测
数据规划：数据埋点规划
数据采集：数据埋点文档
数据应用：数据即时查询、数据指标及报表体系、商业智能分析
1.2数据思维到底是什么
应用数据思维的工作
数据源
构建体系和标准
商业智能分析
数据埋点
数据指标体系
业务评价标准
探究原因
评估效果
活动评估
数据分析师需要在这阶段预见之后的分析需求及数据字段
业务评价标准是衡量业务发展水平的重要指标，
而指标体系是监控业务问题，定位业务问题的好帮手
数据思维是可以培养的
统计学知识
分析方法
通用方法论、经验积累
1.3数据思维最直观的解释
构建有效的监控体系和客观的评价标准
用合理的分析方法探究原因及评价效果
综合运用统计学知识对活动效果进行预估
1.1从数据治理流程浅谈数据思维
第2章、为什么数据思维如此重要
2.1数据思维是数据分析师必备的技能
硬技能
SQL+BI实现业务监控
SQL实现数据提取
Python+Excel实现数据分析
软技能
业务知识
分析思维
沟通能力
建立指标体系
树立评价标准
探究原因
预测结果
评估效果
为什么软技能比硬技能重要
掌握工具只是最基本的要求，并且有成熟的学习套路和指南
数据思维需要长时间积累，且要在恰当的场景和恰当的实际加以应用
2.2数据思维是数据分析师成长晋升的必备技能
初级数据分析师
中级数据分析师
高级数据分析师
数据工具
商业分析
初步具有使用数据工具能力，SQL、Excel、Python
指标建模、互联网常用分析方法论
数据工具
商业分析
系统梳理过数据工具，有意识地沉淀数据工具
市场分析、竞品分析、不同场景下有自己的分析方法论
数据工具
商业分析
对数据工具应用有丰富经验，能够成体系地提出数据工具优化方案
市场分析、财务分析、任何问题都有自己的解决方案
从使用固化的分析工具和方法
到自己总结和沉淀工具方法
再到对工具和方法进行补充完善及
面对复杂场景也有自己的解决方案
2.3数据思维能帮助数据分析师建立影响力 数据思维能帮助数据分析师在团队内部外部建立信任感，让数据分析师拥有更多的话语权
第3章、数据思维如何培养
3.1熟悉常用的数据分析方法
3.2树立目标意识、寻找潜在分析点
三大分析思维
对比思维
分群思维
相关思维
对比分析
线上体验
结构化分析
同期群分析
RFM模型
K-Means模型
相关性与因果性
因果推断
没有对比就没有明确的数据结论，对比分析是得出数据结论最简单有效的方法
业务数据VS大盘数据
业务数据VS行业数据
同比、环比、横比、纵比
A/B试验（常用的线上试验方法）是探究变量因果关系最行之有效的方法
分群思维是贯穿数据分析全链路的分析思维
分群可以基于历史数据、对数据进行分箱实现分群，也可通过数据标签实现分群
变量关系探索、相关性分析是较为常用的分析方法
在无法通过A/B试验校验变量间的因果关系时，因果推断也是数据分析师常用的分析方法
不同生命周期的分析方法
用户流失分析
用户转化与付费分析
内因：用户行为分析
外因：外部环境调研
问卷调查：验证内因、外因
5W2H法
流失前N步分析法
漏斗分析法
......
4P理论、波特五力模型
PEST、生命周期分析、竞品分析
预估不同方案转化率
用户画像与用户分层运营
用户转化路径分析
预估用户生命周期总价值
用户画像
贝叶斯概率
营销增益模型
用户标签
RFM模型
用户行为漏斗分析
生存分析
机器学习
为什么树立目标意识
通过多问“为什么”，树立目标意识
透过业务方提出的数据需求挖掘其真实用意，然后提出一套切实有效的分析方案。摆脱“取数
工具人”
3.3不预设立场，通过客观的标准代替主观的判断
不预设立场才能做到客观
①不预设立场
②与特定标准进行比较
③排查原因
④定位问题
预设立场与假设校验的区别
预设立场
假设校验
通过数据验证自己的猜想是正确的，一个数据不行，更换思路用另一个数据
直到找到能够证明的数据为止
先提出一个假设，通过收集证据去验证假设是否正确，如果有足够证明假设是正确的则接受假
设，否则拒绝假设
3.4基于数据分析结果为业务方提出切实可行的解决方案
数据层面包括数据获取、整合、可视化操作
分析层面侧面则是结合业务目的和数据表现给出相应的数据结论
数据分析师提出合理建议需要经历的三个阶段
给数据：数据分析最初级的阶段，是通过数据陈述客观事实的过程
给结论：是对数据结果的加工和深入分析并给出结论性的表述
给结论：是在“给结论”的基础上对数据进行深挖，基于对业务的了解给出一些切实可行的建
议
数据分析师需要避免几种提建议的方式
不明确分析目的、只做简单的数据堆砌
说的都对，却没什么用
提出的建议无法落地
第4章、数据埋点
第5章、数据标签体系
第6章、数据指标体系
数据获取可以通过调研、通过软件工具抓取、购买第三方的数据
但对于互联网企业，主流方法还是通过数据埋点获得
4.1数据埋点简介
从数据产生流程浅谈数据埋点
为什么需要进行数据埋点
数据埋点能够采集哪些用户数据
数据埋点技术：每当用户在客户端发生一个行为操作，这个
操作就会被对应页面位置背后的代码采集到
上报技术：采集到的数据通过SDK(Software Development Kit)上报，上报后的数据通过一
系列处理流程进入数据仓库，形成海量用户数据
三个主体：用户、客户端、服务器
三个问题
用户的哪些行为会被采集到，是在客户端还是在服务器被采集到？
实现用户数据采集的技术有哪些以及它们之间的异同？
采集到的用户数据是如何实现上报的？
对业务进行监控、对产品进行优化、对用户行为进行分析以实现精细化运营
设备的硬件信息：设备品牌、型号、主板、CPU、屏幕分辨率等
软件能力，就算没有点击网页或者APP、横屏、竖屏、摇一摇也会被记录下来
数据权限：新注册某款软件时，对于相册、通讯录、GPS等比较私密的信息一般会跳出让用户
授权的页面
用户行为：用户只要对网页或者APP进行操作，行为都会被记录下来
4.2数据埋点分类及主流的数据上报技术
数据埋点与隐私保护 授权需谨慎、个人信息不要轻易填写，特别是上传身份证等
数据埋点的分类及方式
前端埋点
后端埋点
代理埋点/手动埋点
全埋点/无埋点/全自动埋点
可视化埋点
定义：根据业务需求手动书写代码实现埋点，通过调用埋点SDK,上报埋点数据
优势：可以自定义属性、自定义事件，具有可控性，适用面较广
劣势：项目工程量大，周期长、沟通成本高
场景：无法通过全埋点和可视化埋点准确覆盖业务场景
定义：全埋点、无埋点及全自动埋点都是一个概念，它通过在产品中嵌入SDK，前端自动采集
页面上的全部用户行为事件
优势：不需要人工介入，前期埋点成本较低。当需求发生变化时，无须修改埋点。数据可溯
源，无新老版本之分
劣势：数据准备不高，上传数据量较多
场景：无须采集事件，适用于活动页等简单规范的页面场景，主要分析点击场景
定义：只要嵌入集成采集SDK，即可访问分析平台，通过“圈选”实现用户行为的采集，并对
该事件命名
优势：人力成本底，更新代价小
劣势：不支持自定义事件，覆盖的功能有限
场景：用户在页面的信息与业务关联较少，页面量较多且页面元素少，对行为数据的应用较少
定义：调用API接口完成用户行为采集，数据通过内网传输，基本不会因为网络原因丢失数
据，数据可以非常真实地反映用户行为
优势：灵活准确，无须更新版本，数据上传及时
劣势：需要进入服务端采集用户行为，缺少前端环境信息，前端交互数据缺失
场景：前后端数据结合，如订单数据或支付数据等
主流的数据上报技术
客户端上报
服务端获取
异步上报
丢包
4.3数据埋点方案设计 数据埋点流程
评估及规划
埋点设计
方案确认
数据验证
数据应用
确认事件与变量
明确事件触发时机
明确事件的上报机制
统一表结构
统一字段名规范
明确优先级
AARRR海盗模型
UJM用户旅程图
例如用户付款案例
5.1数据标签体系与用户画像
5.2数据标签体系构建的流程
5.3数据标签体系的应用场景
数据埋点为数据采集提供了可能，数据中心通过对采集到的数据进行加工处理可以形成一系列
的用户数据标签，同一用户多个标签的集合就组成了用户画像
什么是数据标签体系
数据标签体系的作用
数据标签分类
用户的数据标签是通过对用户行为数据进行加工处理得到的，它是用来描述实体业务特征的数
据形式
数据标签与数据标签体系的关系
数据标签是用户信息标签化；数据标签体系是将用户多个维度的标签按照一定规律
进行组合
用户洞察、个性推荐、渠道优化、营销增强
按计算方式分类
按更新时间分类
规则类标签
统计类标签
模型类标签
离线标签
实时标签
用户数据标签的层级分类
数据标签体系与用户画像关系 用户的数据标签是用户画像的基础和前提，用户画像是数据标签的应用场景之一
明确业务需求
制定基础框架
确定统一的计算口径
数据标签开发
标签上线及维护
数据标签体系辅助人员进行决策分析
数据标签体系可提升数据分析师的分析效率
标签查询及人群圈选
自动化触达
6.1指标体系构建
什么是指标体系
指标体系是指标与体系的结合体，是一套从多个维度拆解业务现状并有系统、有规律地组合起
来的多个指标
为什么需要指标体系
形成标准化的衡量指标，监控业务发展状况
通过指标分级治理，快速定位业务问题，优化业务方向
形成标准化体系，可减少重复工作，提高分析效率
指标体系的评价标准及注意事项
用现有的业务指标和大盘数据进行比较，从而说明
注意事项
子主题
数据提前埋点
统一数据口径
MECE原则
6.2用四个模型梳理数据指标体系构建的方法论
构建数据指标体系的方法
明确目标
理清用户生命周期及行为路径
指标体系分层治理
用三个步骤、四个模型梳理数据指标体系的方法
OSM模型——明确业务目标，数据赋能业务
Object:业务目标，核心KPI
Strategy:制定行动策略（AARRR模型,UJM模型）
Measure:制定较细的评估指标（MECE原则）
6.3如何搭建一套通用的指标体系并快速落地应用
多部门配合搭建数据指标体系的流程
需求收集：根据原型（策划案）或者运营方案提炼数据需求，评估需求可行性并和需求方讨
论，修改不合理方案
需求汇总及排期：数据分析师将数据需求整理成文档并根据优先级对需求进行排期
确定指标体系方案：以OSM模型、AARRR模型、UJM模型、MECE模型作为指导思想，初步
确定指标体系建设方案
确定数据埋点方案：根据初步的指标建设方案设计埋点方案，同时给出字段命名规范及数据采
集方案
数据采集：在数据采集阶段，数据工程师需要将前后端埋点数据送入数仓及清洗
搭建指标体系：对入库的数据进行校验，确保完整性和正确性，然后根据指标体系建设方案进
行指标体系搭建及落地
效果评估：指标体系落地，用户监控业务现状，指导业务决策，定位业务问题，在业务方的不
断反馈中逐渐完善整套指标体系
AARRR模型和UJM模型——理清用户生命周期及行为路径
MECE模型——指标体系分级治理
搭建通用的指标体系（互联网产品）
用OSM模型确定业务目标和数据维度
用AARRR/UJM模型实现路径拆解，分解业务目标
用MECE模型实现指标体系分级治理
6.4定位异动因素
数据波动多少才能称为数据异动
数据波动分析的方法论
从数据埋点到指标体系再到指标异动的闭环
理解波动背后的业务意义，脱离业务含义的分析没有任何意义
周期性波动
内部因素
外部因素
数据传输
数据波动分析的四排除
监控报表->数据调度->数据入库->客户端/服务端
通过逻辑树确定数据波动因素因素
数据埋点->数据标签体系->数据指标体系->数据异动分析->业务问题->数据埋点......
评论0