记录_mini_imagenet1

在这些记录中，我们主要关注的是深度学习在图像识别任务上的应用，特别是在Mini ImageNet数据集上的实验。Mini ImageNet是ImageNet的一个简化版本，通常用于研究和比较不同深度学习模型的性能。以下是对给定内容中涉及的关键知识点的详细说明： 1. **3D DCT (Discrete Cosine Transform)**: 3D DCT是一种信号处理技术，常用于图像和视频压缩，它将数据转换为频率域，以减少冗余并提高效率。在这里可能被用作特征提取的一部分，以降低模型复杂度。 2. **Optimization SGD (Stochastic Gradient Descent)**: 这是最常用的优化算法之一，用于更新神经网络的权重以最小化损失函数。在训练过程中，SGD随机选择一部分样本进行梯度下降，降低了计算成本。 3. **NLL Loss (Negative Log-Likelihood Loss)**: 这是一种常用的分类问题损失函数，尤其是在多分类任务中，它衡量模型预测概率分布与真实标签之间的差异。 4. **Cosine LR Scheduler**: 学习率调度器，它按照余弦退火策略调整学习率，即学习率在周期性地在0和预设最大值之间变化，有助于模型在训练过程中找到更好的解。 5. **Batch Size**: 训练过程中一次送入模型的样本数量。这里提到的`batch size = 128`和`batch size = 256`，更大的批次通常能提供更稳定的梯度估计，但需要更多的内存。 6. **Pretrained**: 表示模型是否使用预训练权重初始化。在这部分记录中，有几次实验没有使用预训练权重，这意味着模型从零开始训练。 7. **Channel Depth**: 指模型中卷积层的通道数，影响模型的复杂度和表达能力。 8. **Widen Arch**: 可能指的是模型架构的拓宽，即增加模型宽度（例如，更多滤波器或神经元）来增强模型的表示能力。 9. **Epochs**: 训练轮数，即模型完整遍历训练数据集的次数。 10. **Accuracy (Top 1)**: 表示模型在测试集上正确预测出最高概率类别的样本比例。 11. **Params**: 模型参数量，衡量模型复杂度。较小的参数量可能意味着模型更轻量化，但可能牺牲一些性能。 12. **Reduce Factor**: 可能是指在低频模型中减少的参数数量或复杂度。 13. **Low and High Frequency Models**: 这里可能指的是模型处理图像的不同层次特征，低频模型处理全局信息，高频模型捕获细节信息。在训练和测试策略中，先由低频模型进行初步分类，如果信心不足，则用高频模型进行进一步处理。 通过对不同参数组合的实验，研究人员在寻找平衡模型性能、复杂度和训练效率的最佳方案。通过对比不同设置下的准确率和参数量，可以评估各种设计决策对模型的影响，从而优化模型结构和训练过程。