张壹帆19053026媒体计算实验报告三v11

实验报告“张壹帆19053026媒体计算实验报告三v11”主要探讨了媒体计算中图像特征提取的技术，包括全局特征和局部特征。在实验中，学生通过实现颜色直方图的提取和SIFT（尺度不变特征变换）算法，对比了传统方法与深度学习模型在图像表征能力上的差异。 1. **全局特征提取**： - **颜色直方图**是描述图像整体颜色分布的一种方法，不受图像平移、旋转的影响。在实现过程中，通常使用OpenCV库，通过`imread`读取图像，`split`分离RGB通道，`calcHist`计算直方图，然后展示和保存结果。颜色直方图虽简单且具有尺度不变性，但无法表达颜色空间的分布，对局部细节敏感度较低。 2. **局部特征提取**： - **SIFT（尺度不变特征转换）**是局部特征提取的重要方法，它寻找图像中尺度不变的关键点，这些关键点对光照、仿射变换和噪声有良好的鲁棒性。SIFT算法步骤包括：尺度空间极值检测（找到关键点）、关键点定位、方向分配、关键点描述符计算。SIFT特征用于图像匹配和识别，能有效捕捉物体的局部特性。 3. **实验目标**： - **比较全局与局部特征**：实验旨在理解不同特征提取方法在图像分类中的性能。通过颜色直方图提取全局特征，SIFT算法提取局部不变特征。 - **深度学习模型**：通过VGG16网络提取图像的深度特征，对比传统方法，研究深度学习模型对图像表示的优越性。 - **分类算法**：基于SIFT特征和VGG网络的分类效果对比，学习SIFT特征编码和SVM分类器的应用。 4. **实验环境**： - 硬件：Intel Core i7-6700 CPU (3.40GHz)和NVIDIA GeForce GTX 1080 GPU，支持高性能计算。 - 软件：Ubuntu 18.04操作系统，VSCode IDE，Python编程语言，TensorFlow 2.0深度学习框架，以及opencv、matplotlib和numpy等库。 5. **数据集**： - 使用Caltech256数据集的一部分，共43个类别，以限制计算资源的消耗和训练时间。 6. **实验方案**： - 全局特征提取：使用OpenCV计算颜色直方图。 - 局部特征提取：实现SIFT算法提取局部不变特征，同时利用VGG16网络提取深度特征。 - 图像分类：对比基于SIFT特征的SVM分类器与基于VGG16网络的分类效果。 通过这个实验，学生不仅深入理解了颜色直方图和SIFT特征的理论与实践，还掌握了深度学习模型VGG16在图像特征表示上的优势，为未来在媒体计算领域的研究和应用打下了坚实的基础。