《RapidMiner 数据分析与挖掘实战》第 7 章
7.1 数据清洗
数据清洗主要是删除原始数据集中的无关数据、重复数据,平滑噪声数据,筛选掉与
挖掘主题无关的数据,处理缺失值、异常值等。
7.1.1 缺失值处理
从统计上说,缺失的数据可能会产生有偏估计,从而使样本数据不能很好地代表总体,
而现实中绝大部分数据都包含缺失值,因此如何处理缺失值很很重要。
一般来说,缺失值的处理包括两个步骤,即缺失数据的识别和缺失值处理。在对是否
存在缺失值进行判断之后需要进行缺失值处理,常用的方法有删除法、替换法、插补法等。
(1)删除法
删除法是最简单缺失值处理方法,根据数据处理的不同角度可分为删除观测样本、删
除
变量两种。
(2)替换法
变量按属性可分为数值型和非数值型,二者的处理办法不同:如果缺失值所在变量为
数
值型的,一般用该变量在其他所有对象的取值的均值来替换变量的缺失值;如果为非数值
型变量,则使用该变量其他全部有效观测值的中位数或者众数进行替换。
(3)插补法
删除法虽然简单易行,但会存在信息浪费的问题且数据结构会发生变动,以致最后得
到
有偏的统计结果,替换法也有类似问题。在面对缺失值问题,常用的插补法有回归插补、
多重插补等。回归插补法利用回归模型,将需要插值补缺的变量作为因变量,其他相关变
量作为自变量,通过回归函数 lm()预测出因变量的值对缺失变量进行补缺;多重插补法的
原理是从一个包含缺失的数据集中生成一组完整的数据,进行多次,从而产生缺失值的一
个随机样本。
48
评论0
最新资源