##### 泛化性能（generalization performance）
> 模型对未知数据的**预测能力**，是机器学习的**核心问题**
>
> * 一个问题的学习中，往往会出现**不同的模型**在**训练集上具有类似的性能**，这时就需要利用**模型验证**来从这些备选中**做出选择**。
> * 泛化性能 -- 模型复杂度
##### 模型验证任务
* **确定**模型的**复杂度以避免过拟合**的发生
> 重要依据：模型在**训练数据集**上的**精度（accuracy）**
>
> * 不能太低
> * 用**训练误差**去**估计测试误差**，得到的必然是**过于乐观**的结果
> * 过低的正确率往往是**欠拟合的征兆**。训练数据集中的**数据量一定是有限**的，这些数据共同构成了**高维空间上一个点集**
> * 模型的**参数足够多，形式足够复杂**，就必定**可以构造出经过所有数据点**的曲线或者曲面，在训练集上得到 **100% 的正确率**
> * 这样的模型**对训练数据的拟合能力过强**，**不可能**具备**良好的泛化**特性
> * 
> * **黑点代表的离散数据**可以看成是满足线性关系的**原始数据和随机噪声的叠加**，受噪声的影响，即使是生成数据的直线也不能完全拟合数据，总归存在一定的残留误差。如果要将残留误差降低为 0，在训练集上取得 100% 的正确率，得到的拟合结果就是龙飞凤舞的蓝色曲线。虽然这个多项式模型完美地覆盖了所有数据点，但它所代表的数据生成方式显然和黑色直线并不接近。此时，过高的训练集正确率反而与对模型优良泛化性能的追求背道而驰。
##### 训练误差的标准
* 分解误差：噪声、偏差和方差
> * 训练后
> * **训练集上**就可以计算出模型 f ^ 的**训练误差**
> * **测试集上**则可以计算出模型的**泛化误差**
> * **训练数据已知**的，**验证数据未知**的，两者之间并**不存在交集**，所以泛化误差也被称为**样本外误差**（extra-sample error）
> * **样本内误差**（in-sample error）：刻画**噪声**影响
> * **训练集的数据**中既包含由潜在的**概率分布所决定的确定部分，**也包含受**噪声干扰产生的随机部分**
