数据分析方法 1.缺失值填充
缺失值：缺失值是指粗糙数据中由于缺少信息而造成的数据的聚类、分组、删失或截断。它指的是现有数据集中某个或某些属性的值是不完全的。（百度词条）
1.1 缺失的类型
1.1.1完全随机缺失（missing completely at random，MCAR）：数据缺失是完全随机的，不依赖于任何不完全变量或完全变量。不影响样本的无偏性。如：家庭地址缺失。
1.1.2随机缺失（missing at random，MAR）：数据的缺失不是完全随机的，该数据的缺失依赖于其它完全变量。如：财务数据缺失情况与企业大小有关。
1.1.3非随机缺失（missing not at ra
数据分析是信息技术领域中一个至关重要的环节，特别是在大数据时代，数据的质量直接影响着分析结果的准确性。缺失值填充是数据预处理的关键步骤，因为不完整的数据可能导致误导性的分析结论。本篇文章将详细探讨缺失值的类型、处理方法以及不处理的后果。
我们需要了解缺失值的三种类型：
1. 完全随机缺失（MCAR）：数据的缺失是完全随机的，与数据本身或其他变量无关。例如，家庭地址的缺失可能是由于收集数据时的偶然疏忽，这种情况下，缺失值不会影响样本的无偏性。
2. 随机缺失（MAR）：数据的缺失依赖于其他完全观测到的变量，但不依赖于缺失的变量本身。例如，财务数据的缺失可能与企业的规模有关，而不一定与财务数据的值有关。
3. 非随机缺失（MNAR）：数据的缺失与缺失的变量自身有关，如高收入群体可能不愿意透露其收入，这种情况下，简单删除或填充可能会导致偏差。
针对不同类型的缺失值，有多种处理策略：
1. 删除元组：当数据缺失量较小且不影响整体分析时，可以考虑删除含有缺失值的记录。但这种方法可能会丢失大量潜在信息，尤其是当缺失值比例较高时。
2. 数据补齐：
- 人工填写：适用于小规模数据，人工核实并填充，效果较好但工作量大。
- 特殊值填充：用特定值（如“未知”）代替缺失值，可能导致数据偏斜。
- 平均值/众数填充：数值属性用平均值，非数值属性用众数，简单但可能不准确，尤其当数据分布不均匀时。
- 热卡填充/就近补齐：寻找类似对象的值进行填充，依赖于相似性的定义，可能有主观性。
- K最近邻法：基于K个最近邻的值进行加权估计，精度高但计算成本高。
- 所有可能的值填充：遍历所有可能值，计算代价高但结果可能更准确。
- 回归：利用已知数据构建回归模型预测缺失值，适用于线性关系，非线性关系时可能有偏差。
- 期望值最大化（EM算法）：通过迭代优化估计模型，考虑了缺失值的影响，常用于统计建模。
3. 不处理：尽管不处理缺失值可能保留原始数据的完整性，但不正确的处理方式可能导致新的噪声和偏差，影响最终分析结果。
选择合适的缺失值处理方法取决于数据特性、缺失值类型以及分析目标。理解数据的上下文信息，结合统计学和机器学习方法，能够有效地处理缺失值，提高数据分析的准确性和可靠性。在实际应用中，常常需要尝试多种方法并对比其效果，以找到最适合特定问题的解决方案。
