python数据分析，医学数据分析，数据预处理，处理医学数据源

项目二 数据预处理

一、实践目的

1、熟悉数据预处理的流程；

2、掌握使用 pandas 库合并数据、清洗数据、标准化数据和转换数据的常用方

法；

二、实践平台

1、操作系统：Windows10 及以上

2、Python 版本：3.8.x 及以上

3、PyCharm 或 Anoconda 集成环境

任务三：数据预处理。

1. 使用 StandardScaler 对数据集“data_expert_temp.xlsx”进行均值方差标

准化处理。并通过散点图对比原始数据和处理后的数据（可选择任一特征）；

2. 使用 MinMaxScaler 对数据集“data_expert_temp.xlsx”进行离差标准化

处理。并绘制处理之后的数据散点图；

3. 使用 Binarizer 对数据集“data_expert_temp.xlsx”中的“血小板计数”进行

特征二值化处理，设置阈值为 100；

4. 对数据集“data_expert_temp.xlsx”进行 PCA 降维，保留特征数 8；

任务四：针对“项目一 医学数据采集”中“3. 通过 UCI 机器学习库下载数据

集”任务所下载的数据集进行预处理。

缺失值用该列的均值、中位数或众数等替换；

数据中的某个或某些特征的值是不完整的，这些值称为缺失值。

pandas 提供了识别缺失值的方法 isnull 以及识别非缺失值的方法 notnull，

这两种方法在使用时返回的都是布尔值 True 和 False。

结合 sum 函数和 isnull、notnull 函数，可以检测数据中缺失值的分布以及数

据中一共含有多少缺失值。

isnull 和 notnull 之间结果正好相反，因此使用其中任意一个都可以判断出数

据中缺失值的位置。

3、实现方法

subset=None, inplace=False)

（2）替换法：用一个特定的值替换缺失值。

特征可分为数值型和类别型，两者出现缺失值时的处理方法也是不同的。

缺失值所在特征为数值型时，通常利用其均值、中位数和众数等描述其集中

趋势的统计量来代替缺失值。

缺失值所在特征为类别型时，则选择使用众数来替换缺失值。

pandas 库中提供了缺失值替换的方法名为 fillna，其基本语法如下。

pandas.DataFrame.fillna(value=None, method=None, axis=None,

inplace=False, limit=None)

（3）插值法

1 线性插值是一种较为简单的插值方法，它针对已知的值求出线性方程，

2 多项式插值是利用已知的值拟合一个多项式，使得现有的数据满足这个

多项式，再利用这个多项式求解缺失值，常见的多项式插值法有拉格朗日插值和

牛顿插值等。

3 样条插值是以可变样条来作出一条经过一系列点的光滑曲线的插值方

法，插值样条由一些多项式组成，每一个多项式都是由相邻两个数据点决定，这

样可以保证两个相邻多项式及其导数在连接处连续。

从拟合结果可以看出多项式插值和样条插值在两种情况下拟合都非常出色，

线性插值法只在自变量和因变量为线性关系的情况下拟合才较为出色。

1、项目任务

检测数据集中是否存在重复数据，并删除重复数据行；

2、相关知识

pandas提供了一个名为 drop_duplicates 的去重方法。该方法只对 DataFrame

或者 Series 类型有效。这种方法不会改变数据原始排列，并且兼具代码简洁和运

行稳定的特点。该方法不仅支持单一特征的数据去重，还能够依据 DataFrame

的其中一个或者几个特征进行去重操作。

pandas.DataFrame(Series).drop_duplicates(self, subset=None, keep='first',

inplace=False)

Subset：接收 string 或 sequence。表示进行去重的列。默认为 None，表示