实验一 数据预处理
一、实验目的和要求
(1)熟悉 VC++编程工具和完全数据立方体构建、联机分析处理算法。
(2)浏览拟被处理的的数据,发现各维属性可能的噪声、缺失值、不一致性
等,针对存在的问题拟出采用的数据清理、数据变换、数据集成的具体算法。
(3)用 VC++编程工具编写程序,实现数据清理、数据变换、数据集成等功能。
(4)调试整个程序获得清洁的、一致的、集成的数据,选择适于全局优化的
参数。
(5)写出实验报告。
二、实验原理
1、数据预处理
现实世界中的数据库极易受噪音数据、遗漏数据和不一致性数据的侵扰,为提
高数据质量进而提高挖掘结果的质量,产生了大量数据预处理技术。数据预处理有多种
方法:数据清理,数据集成,数据变换,数据归约等。这些数据处理技术在数据挖掘之前
使用,大大提高了数据挖掘模式的质量,降低实际挖掘所需要的时间。
2、数据清理
数据清理例程通过填写遗漏的值,平滑噪音数据,识别、删除离群点,并解决不
一致来“清理”数据。
3、数据集成
数据集成将数据由多个源合并成一致的数据存储,如数据仓库或数据立方
体。
4、数据变换
通过平滑聚集,数据概化,规范化等方式将数据转换成适用于数据挖掘的形式。