机器学习(Machine Learning)、深度学习(Deep Learning)、NLP面试中常考到的知识点和代码实现

## 目录 - [1. 特征工程有哪些？](#1-特征工程有哪些) - [1.1 特征归一化](#11-特征归一化) - [1.2 类别型特征](#12-类别型特征) - [1.3 高维组合特征的处理](#13-高维组合特征的处理) - [1.4 文本表示模型](#14-文本表示模型) - [1.5 其它特征工程](#15-其它特征工程) - [1.6 特征工程脑图](#16-特征工程脑图) - [2. 机器学习优化方法](#2-机器学习优化方法) - [2.1 机器学习常用损失函数](#21-机器学习常用损失函数) - [2.2 什么是凸优化](#22-什么是凸优化) - [2.3 正则化项](#23-正则化项) - [2.4 常见的几种最优化方法](#24-常见的几种最优化方法) - [2.5 降维方法](#25-降维方法) - [3. 机器学习评估方法](#3-机器学习评估方法) - [3.1 准确率(Accuracy)](#31-准确率accuracy) - [3.2 精确率（Precision）](#32-精确率precision) - [3.3 召回率(Recall)](#33-召回率recall) - [3.4 F1值(H-mean值)](#34-f1值h-mean值) - [3.4 ROC曲线](#34-roc曲线) - [3.5 余弦距离和欧式距离](#35-余弦距离和欧式距离) - [3.6 A/B测试](#36-ab测试) - [3.7 模型评估方法](#37-模型评估方法) - [3.8 超参数调优](#38-超参数调优) - [3.9 过拟合和欠拟合](#39-过拟合和欠拟合) - [4. 检验方法](#4-检验方法) - [4.1 KS检验](#41-ks检验) - [4.2 T检验](#42-t检验) - [4.3 F检验](#43-f检验) - [4.4 Grubbs检验](#44-grubbs检验) - [4.5 卡方检验](#45-卡方检验) - [5. 参考文献](#4-参考文献) ## 1. 特征工程有哪些？ 特征工程，顾名思义，是对原始数据进行一系列工程处理，将其提炼为特征，作为输入供算法和模型使用。从本质上来讲，特征工程是一个表示和展现数 据的过程。在实际工作中，**特征工程旨在去除原始数据中的杂质和冗余**，设计更高效的特征以刻画求解的问题与预测模型之间的关系。 主要讨论以下两种常用的数据类型。 1. 结构化数据。结构化数据类型可以看作关系型数据库的一张表，每列都 有清晰的定义，包含了数值型、类别型两种基本类型；每一行数据表示一个样本 的信息。 2. 非结构化数据。非结构化数据主要包括文本、图像、音频、视频数据， 其包含的信息无法用一个简单的数值表示，也没有清晰的类别定义，并且每条数 据的大小各不相同。 ### 1.1 特征归一化 为了消除数据特征之间的量纲影响，我们需要对特征进行归一化处理，使得 不同指标之间具有可比性。例如，分析一个人的身高和体重对健康的影响，如果 使用米（m）和千克（kg）作为单位，那么身高特征会在1.6～1.8m的数值范围 内，体重特征会在50～100kg的范围内，分析出来的结果显然会倾向于数值差别比 较大的体重特征。想要得到更为准确的结果，就需要进行特征归一化 （Normalization）处理，使各指标处于同一数值量级，以便进行分析。 对数值类型的特征做归一化可以将所有的特征都统一到一个大致相同的数值 区间内。最常用的方法主要有以下两种。 1. **线性函数归一化**（Min-Max Scaling）。它对原始数据进行线性变换，使 结果映射到[0, 1]的范围，实现对原始数据的等比缩放。归一化公式如下，其中*X*为原始数据， 分别为数据最大值和最小值。  2. **零均值归一化**（Z-Score Normalization）。它会将原始数据映射到均值为 0、标准差为1的分布上。具体来说，假设原始特征的均值为μ、标准差为σ，那么 归一化公式定义为  优点：**训练数据归一化后，容易更快地通过梯度下降找 到最优解。**  当然，数据归一化并不是万能的。在实际应用中，通过梯度下降法求解的模 型通常是需要归一化的，包括线性回归、逻辑回归、支持向量机、神经网络等模 型。但对于决策树模型则并不适用。 ### 1.2 类别型特征 类别型特征（Categorical Feature）主要是指性别（男、女）、血型（A、B、 AB、O）等只在有限选项内取值的特征。类别型特征原始输入通常是字符串形 式，除了决策树等少数模型能直接处理字符串形式的输入，对于逻辑回归、支持 向量机等模型来说，类别型特征必须经过处理转换成数值型特征才能正确工作。 1. **序号编码** 序号编码通常用于处理类别间具有大小关系的数据。例如成绩，可以分为 低、中、高三档，并且存在“高>中>低”的排序关系。序号编码会按照大小关系对 类别型特征赋予一个数值ID，例如高表示为3、中表示为2、低表示为1，转换后依 然保留了大小关系。 2. **独热编码(one-hot)** 独热编码通常用于处理类别间不具有大小关系的特征。例如血型，一共有4个 取值（A型血、B型血、AB型血、O型血），独热编码会把血型变成一个4维稀疏 向量，A型血表示为（1, 0, 0, 0），B型血表示为（0, 1, 0, 0），AB型表示为（0, 0, 1, 0），O型血表示为（0, 0, 0, 1）。对于类别取值较多的情况下使用独热编码。 3. **二进制编码 ** 二进制编码主要分为两步，先用序号编码给每个类别赋予一个类别ID，然后 将类别ID对应的二进制编码作为结果。以A、B、AB、O血型为例，下图是二进制编码的过程。A型血的ID为1，二进制表示为001；B型血的ID为2，二进制表示为 010；以此类推可以得到AB型血和O型血的二进制表示。  ### 1.3 高维组合特征的处理 为了提高复杂关系的拟合能力，在特征工程中经常会把一阶离散特征两两组 合，构成高阶组合特征。以广告点击预估问题为例，原始数据有语言和类型两种 离散特征，第一张图是语言和类型对点击的影响。为了提高拟合能力，语言和类型可 以组成二阶特征，第二张图是语言和类型的组合特征对点击的影响。  ### 1.4 文本表示模型 文本是一类非常重要的非结构化数据，如何表示文本数据一直是机器学习领 域的一个重要研究方向。 1. **词袋模型和N-gram模型** 最基础的文本表示模型是词袋模型。顾名思义，就是将每篇文章看成一袋子 词，并忽略每个词出现的顺序。具体地说，就是将整段文本以词为单位切分开， 然后每篇文章可以表示成一个长向量，向量中的每一维代表一个单词，而该维对 应的权重则反映了这个词在原文章中的重要程度。常用TF-IDF来计算权重。 2. **主题模型** 主题模型用于从文本库中发现有代表性的主题（得到每个主题上面词的分布 特性），并且能够计算出每篇文章的主题分布。 3. **词嵌入与深度学习模型** 词嵌入是一类将词向量化的模型的统称，核心思想是将每个词都映射成低维 空间（通常K=50～300维）上的一个稠密向量（Dense Vector）。K维空间的每一 维也可以看作一个隐含的主题，只不过不像主题模型中的主题那样直观。 ### 1.5 其它特征工程 1. 如果某个特征当中有**缺失值**，缺失比较少的话，可以使用该特征的平均值或者其它比较靠谱的数据进行填充；缺失比较多的话可以考虑删除该特征。 2. 可以分析特征与结果的相