数据的秘密(下)：如何分析数据？.pdf

数据的秘密（下）：如何分析数据？ 前言 上一篇文章中，我们介绍了为什么要关注数据，在本文中我将分享具体如何做。 数据的秘密（上）：为什么要关注数据？ 关注宏观和细节 大多数人都能做到关注宏观的数据，拿互联网产品来说，日活，月活，流失率，NPS（净推荐值） ，这些都是宏观的数据。宏观数据能够反映出产品的整体状况，是值得长期关注的。 但是在宏观之外，我们还应该关注一些细节的数据。拿日活来说，我们可以再进一步进行分析， 比如： 日活中新用户所占的比例 日活中 iOS 和 Android 的各自占比 日活中大家集中活跃的时间段 日活中用户的会话（Session）次数分布，时长分布 日活中用户平均使用你的产品核心功能的次数 当你把数据拿放大镜看得更细的时候，你可能就会发现一些问题。带着这些问题，你进一步分析， 就可以找到更多信息。 举一个我们创业产品项目的例子，我们发现日活中的用户，有相当一部分用户只是注册了，但是并 没有使用我们产品的核心功能，于是我们担心会不会有一些付费推广渠道「刷量」。 所以，我们将新增用户中不活跃的比例按渠道来划分。通过这样的划分，我们很容易找到那些效果 差的渠道，从而选择更有效的推广渠道。 关注原始数据 原始数据是什么？就是那些不是通过别的数据计算出来的，不能被分割的数据。这些数据是最最真 实的，而其它通过计算出来的数据，因为进行了二次加工，所以不一定能够完全反映出产品的问题 。 再举一个项目的例子，我们为了研究 NPS 给我们打零分的用户。把这些用户的搜索数据、 操作记录都抽样出来，一个用户一个用户看，然后进行分类整理。最终我们发现这里面小学 生用户占比很高，从而调整了产品的策略，在内容和算法上对小学生进行了兼顾。 关注原始数据除了能改进产品外，还能在技术上提高代码的质量。我们曾经遇到过一个很难复杂的 Bug，在我们的测试机中都无法复现，但是我们通过分析相关用户的操作记录，找到了具体崩溃的 操作方法。 虽然该操作方法不能在我们自己的机器上复现 Bug，但是我们却能找到相关的关键代码。通过一些 针对这些代码的讨论，我们就找到了 Bug 的原因。现在回想起来，如果没有这些原始数据，要修复 这个 Bug 就要困难很多了。 关于面试 其实不光做产品要看「原始数据」，面试一个人也是。我在面试的时候，会选一个候选人简历上的 事情，进行深入了解。我会让他提供详细相关工作的数据和事例。通过这些「原始数据」，我能够 更加方便地「还原他真实的工作场景」，从而对他的工作质量作出尽量客观的评价。 举个例子，有一个产品实习生候选人在简历上写他运营了一个微信公众号，「粉丝逾千，单 日粉丝增量 200 以上，数篇文章阅读量超过 3000」。但是在面试中，详细追问这些数字， 我们才发现他说的「逾千」是指 1000，而「单日粉丝增量 200 以上」是指的最高的一天， 其它信息也都是有夸大的成分。 还有一次，我面试一个技术候选人，这个候选人说他有代码洁癖，觉得前公司的代码「很乱，受 不了」。但是我让他具体举几个例子的时候，他却很难说出实际的例子。还有候选人说他喜欢看技 术书，但是却无法说出他印象最深的一本技术书以及其中的部分观点。 通过了解细节，我们就可以揭开简历中光鲜描述的外衣，了解到事情背后的细节，这对我们评价候 选人至关重要。 数据可视化 数据可视化是指将原本枯燥的数据，用折线图、饼图、柱状图等方式呈现出来，它可以使我们更容 易发现数据的规律，也更容易发现数据的异常。 在项目中，数据可视化多次给我们带来巨大的帮助，包括： 了解数据的特点：我们将项目的 QPS 按每小时为频率画出成一条折线图，所以我们很容易知道 我们服务器高峰期的时间段以及访问量。 发现服务异常：我们将服务器搜索的失败率占比画出成一个饼图，有一天，这个饼图中显示出失 败率突然变高了。同时，每日的 NPS 分数突然也变低了很多。我们借此发现了新扩容的一台服务 器故障。因为那台服务器是新加的，所以运维忘记了增加监控，如果没有数据可视化的帮助，这个 故障可能会持续更长时间。 监控核心质量：我们将项目的一些核心指标画成折线图，然后大家都努力让核心指标更优。 发现恶意攻击： 一些重要指标，我们都会可视化出来，这样当这些数据指标变化时，我们就会进 一步分析原因，从中我们还发现了一些竞争对手恶意的攻击行为。 数据可视化工具 我们当然不可能所有的数据可视化都是自己手工用 Excel、Numbers 之类的工具来生成。所以，我 们开发了一个数据可视化的平台，我们把它叫做 flyboard。 flyboard 提供了各种数据可视化的方式，包括数字，折线图，饼图，环形图，柱状图等。如下图 所示： 我们将所有的原始数据都归集到分布式存储 Hbase 中，然后通过配置一些定时的计算任务，就可以 以几