Python数据分析基础：异常值检测和处理
32 浏览量
2021-01-27
15:01:52
上传
评论 2
收藏 161KB PDF 举报
Python数据分析基础：异常值检测和处理数据分析基础：异常值检测和处理
在机器学习中，异常检测和处理是一个比较小的分支，或者说，是机器学习的一个副产物，因为在一般的预测问题中，模型通
常是对整体样本数据结构的一种表达方式，这种表达方式通常抓住的是整体样本一般性的性质，而那些在这些性质上表现完全
与整体样本不一致的点，我们就称其为异常点，通常异常点在预测问题中是不受开发者欢迎的，因为预测问题通产关注的是整
体样本的性质，而异常点的生成机制与整体样本完全不一致，如果算法对异常点敏感，那么生成的模型并不能对整体样本有一
个较好的表达，从而预测也会不准确。
从另一方面来说，异常点在某些场景下反而令分析者感到极大兴趣，如疾病预测，通常健康人的身体指标在某些维度上是相
似，如果一个人的身体指标出现了异常，那么他的身体情况在某些方面肯定发生了改变，当然这种改变并不一定是由疾病引起
(通常被称为噪音点)，但异常的发生和检测是疾病预测一个重要起始点。相似的场景也可以应用到信用欺诈，网络攻击等等。
一般异常值的检测方法有基于统计的方法，基于聚类的方法，以及一些专门检测异常值的方法等，下面对这些方法进行相关的
介绍。
如果使用pandas，我们可以直接使用describe()来观察数据的统计性描述(只是粗略的观察一些统计量)，不过统计数据为连续
型的，如下：
或者简单使用散点图也能很清晰的观察到异常值的存在。如下所示：
这个原则有个条件：数据需要服从正态分布。在3?原则下，异常值如超过3倍标准差，那么可以将其视为异常值。正负3?的概
率是99.7%，那么距离平均值3?之外的值出现的概率为P(|x-u| 3?) = 0.003，属于极个别的小概率事件。如果数据不服从正态
分布，也可以用远离平均值的多少倍标准差来描述。
红色箭头所指就是异常值。
评论0