CS231n课程笔记翻译：线性分类笔记（上） - 知乎专栏1

线性分类是机器学习中的一种基础方法，尤其在图像分类任务中有着广泛的应用。这篇笔记主要探讨了线性分类器的原理和应用，包括线性评分函数、损失函数以及线性分类器与支持向量机(SVM)和Softmax分类器的关系。 线性评分函数是线性分类的核心，它将原始图像数据映射到每个类别的得分。在CS231n课程笔记中，以线性映射为例，给出的评分函数是`f(x; W, b)`，其中`x`是图像的像素值表示，`W`是权重矩阵，`b`是偏差向量。这个函数通过矩阵乘法和向量加法一次性评估了图像属于每个类别的可能性。权重矩阵`W`的每一行对应一个类别的评分函数，而偏差向量`b`则调整每个类别的基线得分。线性分类器的效率在于其计算的并行性，只需一次运算就能得到所有类别的评分。 损失函数是衡量预测得分与真实标签之间差异的度量。在多类分类问题中，常见的损失函数有交叉熵损失（Cross-Entropy Loss），它可以量化分类的不确定性。对于支持向量机（SVM），通常使用Hinge损失，它鼓励模型找到一个最大边界，使得正负样本分开。 多类SVM是线性分类的一种扩展，它通过最大化间隔来寻找决策边界。SVM的目标是找到一个超平面，使得训练样本被正确分类，同时与最近的正负样本保持最大间隔。相比于Softmax分类器，SVM更关注边界的选择，而Softmax则通过计算每类的概率分布，直接输出类别概率，更适合处理多分类任务。 支持向量机和Softmax的比较在于，SVM侧重于结构风险最小化，即优先考虑模型的泛化能力，而Softmax更注重经验风险最小化，即尽可能减小训练误差。在线性分类器中，SVM通常使用L1或L2正则化来避免过拟合，而Softmax分类器通常使用交叉熵损失并配合反向传播进行优化。 在线性分类器的实现中，训练数据用于学习权重`W`和偏差`b`，一旦训练完成，模型便可以丢弃训练数据，仅保留学到的参数进行预测。这显著减少了存储需求，并加快了测试时的分类速度。然而，线性分类器的局限在于其对非线性模式的表达能力较弱，为此，后续笔记可能会引入卷积神经网络(CNN)，CNN通过卷积层和池化层捕捉图像的局部特征，从而实现更复杂的图像分类任务。 线性分类器提供了一个简单而有效的基础框架，用于从图像像素值转换到分类得分。它在许多实际应用中表现良好，同时也为更复杂的深度学习模型（如CNN）奠定了基础。理解线性分类器的工作原理，有助于深入学习其他更高级的机器学习技术。