数据 预处理
普林大数据学院
普
林
大
数
据
学
院
P
R
I
N
C
E
T
E
C
H
S
B
I
G
D
A
T
A
C
O
L
L
E
G
E
2
目录
第一部分 数据概述
第二部分 数据预处理
第三部分 案例分析和总结
普林大数据学院
普
林
大
数
据
学
院
P
R
I
N
C
E
T
E
C
H
S
B
I
G
D
A
T
A
C
O
L
L
E
G
E
数 据概述
l 数据类型
l 数据对象
l 数据的基本统计信息
l 相似性和不相似性度量
普
林
大
数
据
学
院
P
R
I
N
C
E
T
E
C
H
S
B
I
G
D
A
T
A
C
O
L
L
E
G
E
普林大数据学院
4
普
林
大
数
据
学
院
P
R
I
N
C
E
T
E
C
H
S
B
I
G
D
A
T
A
C
O
L
L
E
G
E
普林大数据学院
l 表格数据
• 关系记录
• 数据矩阵
• 向量
• 事物数据
l 图和网络
• 万维网
• 社交网络
• 分子结构
### 数据预处理
#### 数据概述
数据是大数据分析的基础，对于数据的理解至关重要。在数据分析的初期阶段，我们首先需要了解数据的基本属性。
##### 数据类型
数据类型是指在计算机科学中，用于表示数据的一种形式。主要的数据类型包括：
- **名义型（Nominal）**：仅用于分类的数据类型，如汽车品牌、学校名称等。
- **布尔型（Binary or Boolean）**：具有两种状态的数据类型，例如性别（男/女）、婚否（已婚/未婚）。
- **等级型（Ordinal）**：具有排序特性的数据类型，例如身高分级（高/中/低）。
- **数值型（Numeric）**：可以用数学运算处理的数据类型，包括连续型和离散型。
其中，数值型数据是最常见的类型之一，直接采用自然数或度量单位来计量。数值型又细分为连续型和离散型。连续型属性的值域是实数空间中的任意取值，如温度、长度等。而离散型属性的值域则是一个有限集或可列集，例如汽车品牌、NBA球队等。
##### 数据对象
数据对象是指在数据库中用来表示实体的数据记录。这些对象可以被称作样本、实例、数据点、对象或元组。每个数据对象都由一系列属性及其对应的值构成。
##### 数据的基本统计信息
为了更好地理解数据集，我们需要通过度量数据的中心趋势和离散程度来进行基本的统计分析。这包括：
- **中心趋势**：如均值、中位数、众数等，用于反映数据集的集中位置。
- **离散程度**：如方差、标准差等，用于反映数据分布的分散程度。
这些统计指标有助于我们获取数据集的整体印象，并为进一步的数据分析提供基础。
##### 相似性和不相似性度量
相似性和不相似性度量是评估数据间差异的重要手段。常用的距离度量方法有欧几里得距离、曼哈顿距离等，它们可以帮助我们在数据集中寻找相似的数据点或者进行聚类分析。
#### 表格数据
表格数据是最常见的数据表示形式之一，主要包括以下几种：
- **关系记录**：数据库中的一行记录。
- **数据矩阵**：以矩阵的形式存储数据，每一行代表一个数据对象，每一列代表一个属性。
- **向量**：表示数据对象的多维属性。
- **事务数据**：记录交易过程的数据，常用于市场篮子分析等场景。
#### 图和网络
除了表格数据之外，图和网络也是重要的数据类型。它们广泛应用于多种领域，包括但不限于：
- **万维网**：网页之间的链接关系形成了一种大规模的网络结构。
- **社交网络**：用户之间的连接关系，可用于研究人际关系、社群发现等问题。
- **分子结构**：生物分子间的相互作用和结构信息，对于药物研发等领域非常重要。
#### 多媒体数据
随着互联网技术的发展，多媒体数据变得越来越普遍，这类数据包括但不限于：
- **文本**：新闻报道、社交媒体帖子等。
- **图像**：照片、扫描文档等。
- **视频**：电影、监控录像等。
- **音频**：音乐、语音录音等。
多媒体数据因其复杂性和多样性，在数据处理方面提出了新的挑战。
#### 数据预处理的重要性
数据预处理是在进行数据分析前的一个重要步骤，其目的是清洗和整理原始数据，使其更适合进一步的分析工作。具体而言，数据预处理包括以下几个方面：
1. **数据清理**：处理缺失值、噪声数据等。
2. **数据集成**：合并来自多个来源的数据。
3. **数据变换**：规范化数据、平滑数据、聚集数据等。
4. **数据规约**：减少数据量的同时保持数据质量。
通过对数据进行有效的预处理，可以显著提高数据分析结果的质量和准确性，从而为后续的数据挖掘和机器学习等工作奠定坚实的基础。
