03损失函数和优化1
需积分: 0 109 浏览量
2022-08-03
14:08:56
上传
评论
收藏 1.58MB PDF 举报
原
2017CS231n李飞飞深度视觉识别笔记（三）——损失函数和优化
2018年07月12日 00:20:28 献世online 阅读数：475 更多
第三章 损失函数和优化
课时1 损失函数
在上一章的课程中，我们讨论了识别问题，并尝试了数据驱动的方式，讲到了图像分类的难点在哪里；同时讨论了K近邻分类器以便作为介绍数据驱动理念的一个
简单例子，最后还讨论了交叉验证以及如何把数据划分为训练集、验证集和测试集来设置超参数，线性分类作为我们引入神经网络的第一项基石。
这一节中我们将解决：如何给数据集选择一个正确的权重W以及怎么用训练数据来得到W的最优值。
对于下面的分类的得分结果：
我们可以很容易的看到对第一幅图猫的得分只有2.9，比其他的都要低很多，这是一个不好的结果；而对第二幅图汽车的得分有6.04，是最高的，这是一个正确的
结果；所以这些人眼看一下这些分数就知道哪些是好、哪些是坏，但是如果写算法来自动决定哪些W是最优的，就需要一个度量任意W的的好坏的方法。
可以用一个函数把W当做输入，然后看一下得分，定量地估计W的好坏，这个函数被称为损失函数。
有了损失函数的概念后，就可以定量地衡量任意一个W到底是好是坏，要找到一种有效的方式从W的可行域里找到W取什么值是不坏的情况，这个过程将是一个
优化过程。
下面来看一个具体的例子：
在这个例子中，目前猫的分类不对，汽车的分类正确，而青蛙是彻底分类错了。
正式一点来说，一般所谓的损失函数，比如说有一些训练数据集x和y，通常又N个样本，其中x是算法的输入，在图片分类问题里，x其实是图片每个像素点所构
成的数据集，y是希望预测出来的东西，通常称之为标签或目标。我们把最终的损失函数定义为 。
多分类SVM损失函数：
接下来介绍一下多分类SVM损失函数，多类别SVM是在处理多分类问题时的对二元SVM的一种推广。在二元SVM中，只有两个类，每个样本x要么被分类成正
例，要么被分类成负例；现在如果有10个类别了，就需要将二元的思想推广到多分类中。看一下损失函数对单个类的计算方式：
问题：这个公式到底是在计算什么？
评论0