Assignment 3-期中1

在本篇作业中，学生将深入探讨机器学习与数据挖掘领域的核心主题——图像分类，具体而言，是通过训练和评估模型在CIFAR-10数据集上的性能。CIFAR-10是一个广泛使用的彩色图像数据集，包含了10个类别，每个类别有6000张32x32像素的图像。这项任务旨在让学生了解不同类型的神经网络模型，如线性分类器（Softmax分类器）、多层感知机（MLP）和卷积神经网络（CNN），以及不同的优化算法和模型结构参数对性能的影响。 1. **线性分类器（Softmax分类器）**：这是一个基础模型，用于多分类问题。它通过Softmax函数将输出转化为概率分布，使得模型可以预测图像属于哪个类别。在此任务中，学生需要在CIFAR-10训练集上训练线性模型，并在测试集上验证其准确率。 2. **多层感知机（MLP）**：MLP是一种前馈神经网络，包含至少一个隐藏层。学生将通过改变网络层数和每层神经元的数量来研究模型性能的变化。这将帮助理解网络复杂度与性能之间的关系，以及过拟合或欠拟合的可能性。 3. **卷积神经网络（CNN）**：CNN在图像识别任务中表现优秀，因为它能捕捉图像的空间特征。学生将以LeNet模型为基础，调整卷积层的数量、滤波器的数量和池化操作，观察这些变化如何影响模型的性能。CNN的使用可以更有效地提取图像的局部特征。 4. **优化算法比较**：学生将使用三种不同的优化算法——随机梯度下降（SGD）、带有动量的SGD和Adam算法进行模型训练。这些算法各有优劣，SGD是基本的优化方法，动量项可以加速收敛，而Adam结合了动量和二阶信息，通常在训练深度学习模型时表现出良好的性能。 5. **模型性能对比**：学生将对比线性分类器、MLP和CNN在CIFAR-10图像分类任务上的性能，讨论它们各自的优点和局限性。这有助于理解深度学习模型在复杂任务中的优势。 实验报告应详细记录所采用的模型结构、训练方法（包括数据预处理、模型参数初始化、超参数选择、优化算法等）以及实验结果。此外，学生需要对观察到的结果进行深入讨论，可能涉及模型泛化能力、训练时间、准确率和损失函数的变化等。实验代码也应一同提交，但不包括数据。 完成这项作业将要求学生掌握深度学习框架，例如TensorFlow或PyTorch，这些工具提供了实现和训练神经网络模型的便捷接口。通过这个项目，学生不仅将深化对机器学习理论的理解，还能提升实际应用技能。