Python数据分析实践：数据预处理-2-new.pdf

2022/3/14 4.11 数据预处理-2 In [ ]: import pandas as pd 4.11.2 检测与处理重复值 1.数据重复 数据重复，即一个或者多个特征某几个记录的值完全相同 要清洗重复数据，可以使用 duplicated()和 drop_duplicates()方法 若对应的数据是重复的，duplicated() 会返回 True，否则返回 False 删除重复数据，可以直接使用drop_duplicates()方法 pandas提供了一个名为drop_duplicates的去重方法。该方法不仅支持单一特征的数据去重，还能够依据DataFrame的其中一个或者几个特征进 行去重操作。 pandas.DataFrame(Series).drop_duplicates(self, subset=None, keep='first', inplace=False) In [ ]: df1 pd.DataFrame ({'类型' :['A','B','A','B','A'],'数 目' :[30,15,30,15,18]}) df1 In [ ]: df1.dupli 在数据分析领域，Python是一种常用的工具，特别是在数据预处理阶段。数据预处理是数据分析流程中的关键步骤，它确保了后续分析的准确性和有效性。本篇内容主要聚焦于如何使用Python的Pandas库检测和处理数据集中的重复值。 Pandas库提供了`duplicated()`和`drop_duplicates()`两个方法来处理重复数据。`duplicated()`方法用于检测数据集中是否存在重复的记录。当某条记录与其他记录在指定列上有完全相同的值时，该方法会返回True，否则返回False。这有助于识别哪些行是重复的，而不仅仅是简单地删除它们。 `drop_duplicates()`方法则直接从数据集中移除重复的记录。默认情况下，它保留第一次出现的非重复记录，这可以通过`keep`参数进行调整。例如，设置`keep='last'`将保留最后一次出现的记录，而`keep=False`会删除所有重复项。此外，`subset`参数允许用户指定基于哪些列进行去重，这样可以针对特定列进行重复值的检查和处理。 在提供的代码示例中，创建了一个名为`df1`的DataFrame，包含两个列：“类型”和“数目”。`df1.duplicated()`用于检查哪些行是重复的，而`df1.drop_duplicates()`则删除了这些重复行。 在处理连续型特征的重复时，可以使用相关性分析来确定特征之间的相似程度。Pandas的`corr()`方法可以计算列之间的相关系数，这通常基于皮尔逊相关系数（Pearson correlation coefficient）。皮尔逊相关系数衡量的是两个变量间线性相关性的强度，其值介于-1和1之间。值接近1表示正相关，接近-1表示负相关，而接近0则表示无明显线性相关。当计算两个连续变量的Pearson相关系数时，可以使用`df1.corr()`。 皮尔逊相关系数的计算公式是两个变量的协方差除以它们的标准差的乘积。协方差（Covariance）反映了两个变量一起变化的程度，正值表示正相关，负值表示负相关。在实际应用中，通过绘制散点图可以帮助直观地理解不同变量之间的相关性。 需要注意的是，虽然`corr()`方法对于数值型特征非常有效，但对类别型特征并不适用，因为类别型特征之间的相似度不能简单地通过数值比较来度量。因此，在处理类别型特征时，可能需要采用不同的方法，如使用`equals()`方法进行特征去重，或者考虑使用其他相似度指标。 总结来说，Pandas库提供了强大的工具来处理数据预处理中的重复值问题，包括检测重复值和删除重复值的功能。同时，通过相关性分析可以识别和处理连续型特征的重复，确保数据质量，并为进一步的数据分析做好准备。在实际项目中，数据预处理的严谨性和准确性对整个数据分析过程至关重要，因此，理解并熟练运用这些方法是提高分析结果可靠性的关键。