深度学习提升性能的方法.docx资源-CSDN文库

深度学习

需积分: 10 172 浏览量 2020-01-08 14:16:50 上传评论收藏 468KB DOCX 举报

资源详情

资源评论

 从数据上提升性能

1.收集更多的数据

2.产生更多的数据

图像的数据增强，增加图片的数量相当于增加样本的数量，在模型

复杂度相同的情况下，提升模型的泛化能力；

有时候是往图像中中增加噪声，这相当于是一种规则方法，避免过

拟合训练数据。

 空间几何变换类 

翻转

翻转包括水平翻转和垂直翻转。



裁剪图片的感兴趣区域（），通常在训练的时候，会采用随机裁剪的方法，

对图像中有较为明显信息的位置拿出来，裁剪成不同大小的图片作为新的图

像样本。

几何变换

仿射变换（平面变换）

同时对图片做裁剪、旋转、转换、模式调整等多重操作。

透视变换（空间变换）

对图像应用一个随机的四点透视变换。

 像素颜色变换类 

噪声类

随机噪声是在原来的图片的基础上，随机叠加一些噪声。

高斯噪声

利用  的  随机生成器产生高斯分布的数值（即数值的大小满足

高斯分布），将这些生成的数值加到原图像上，成为高斯噪声。

b. CoarseDropout

在图像中生成面积大小可选定、位置随机的矩形区域，把区域中的像素点

置位黑色（单通道）或者让多通道的某一通道的像素值变为 。和椒盐噪

声的区别是，区域块和像素点的区别。

掩模噪声添加（

SimplexNoiseAlpha

）

新建一个尺寸和原图相同的矩阵，矩阵中存在单一的噪声分布（高斯，椒盐

等），对该矩阵进行掩模，并将掩模后的矩阵与原图像叠加。

频率谱噪声添加（

FrequencyNoiseAlpha

）

在频域中用随机指数对噪声映射（在频域中，噪声的映射是高频的部分），

通过设置一个频率阈值将有用信息和噪声分开来，并对噪声部分的频率值加

权，将处理完后的频谱用傅里叶逆变换转回原图。在不同图像中，随着指数

值逐渐增大，依次出现平滑的大斑点、多云模式、重复出现的小斑块。

模糊类

利用高斯，中值，均值，联合双边滤波器等对图像进行平滑滤波。减少各像

素点值的差异，实现图片模糊。

 对比度变换

通过向  空间中的每个像素添加或减少  值，修改色调和饱和度实现对比

度转换。

 颜色扰动

将图片从  颜色空间转换到另一颜色空间，增加或减少颜色参数后返回

 颜色空间。

随机擦除法

对图片上随机选取一块区域，随机地擦除图像信息。只取一块区域，并且区

域面积相对较大。

超像素法（）

在最大分辨率处生成图像的若干个超像素，并将其调整到原始大小，再将原

始图像中所有超像素区域按一定比例替换为超像素，其他区域不改变。将图

像从  颜色空间转换到  ! 颜色空间，对应每个像素的（，，!）颜

色值和（，"）坐标组成一个 # 维向量 $% %!%%"&。两个像素的相似性可由它

们的向量距离来度量，距离越大，相似性越小。类似于 '(  聚类算法，

算法首先生成 ' 个种子点，然后在每个种子点的周围空间里搜索距离该种子

点最近的若干像素，将他们归为与该种子点一类，直到所有像素点都归类完

毕。然后计算这 ' 个超像素里所有像素点的平均向量值，重新得到 ' 个聚类

中心，然后再以这 ' 个中心去搜索其周围与其最为相似的若干像素，所有像

素都归类完后重新得到 ' 个超像素，更新聚类中心，再次迭代，如此反复直

到收敛。

转换法（)）

按给定的概率值将部分或全部通道的像素值从  设置为 ##。

边界检测（锐化操作）

利用 ! 算子， " 算子，拉普拉斯算子等边缘提取，检测图像中的所有

边缘，将它们标记为黑白图像，再将结果与原始图像叠加。

 " 

将图像从  颜色空间转换为灰度空间，通过某一通道与原图像混合。

浮雕

采用卷积模板$$%%&%$%%&%$%%&&，用左上角的像素值减去右下角的元素

值。

* 多样本合成类：  (+ , 

 (+ , 方法的处理流程如下图所示，从训练集中随机抽取

两张图片分别经过基础数据增强操作（如随机翻转等）处理后经

像素取平均值的形式叠加合成一个新的样本，标签为原样本标签

中的一种。

3.对数据做缩放

使用神经网络模型的过程中：最好对数据做标准化：

什么是标准化

离差线性标准化（归一化）：把 ## 的灰度值转化为 ；

正态分布标准化：计算图像灰度值的均值及标准差，让每个像素点的值减去均

值再除以标准差（并不是方差！！！），得到数据分布在 

附近，标准差为  的正态分布。（使用

- , ./对图片进行标准化）

为什么要做数据标准化：

．同一类型物体的两张不一样的图片，由于曝光的，灰度等各种原因，他们

相同区域的像素值情况不一样，经过卷积层放大后，这些像素值的差异被

认为是一种新的抽象特征被放大，在标签相同的情况下出现样本差异，影响

神经网络权重更新。

．对于卷积层和全连接层而言，是把不同特征通道的值分配不同的权重然后

相加起来；当图片为三通道时（红黄绿），如果有一个通道的值都特别大，

那么在通过全连接层加权得到一个总值时，该通道就会有较大的主导，神经

网络权值的更新也会以这个通道的特征变化情况为主。

数据标准化后的结果：

 把不同的图片映射到同一个坐标系，保证尺度相同，这样消除了由于曝光，

拍摄光线不佳，噪声等问题带来的图片的额外差异，把问题转化为只关注特

征分布。

 把不同通道对权值更新的影响平衡化，减小某一通道主导的影响。

4．对数据做变换（多通道转化为单通道灰度图！！！）

神经网络有特征学习的功能，能自动学习特征的分布规律。但在数

据集预处理阶段找出数据的分布规律，转换数据结构后，输入网络

模型，学习的速度就会更快。

对数据进行数据可视化，然后挑出分布不规律的异常值，作为噪声；

对每一列数据的分布进行研究，进行分布变换：

这一列数据是不是倾斜的高斯分布，若是如此，尝试用  方法纠正倾斜

这一列数据是不是指数分布，若是如此，则进行对数变换

这一列数据是不是存在某些特性，但是难以直观地发现，尝试一下对数据平方

或者开方

是否可以将特征离散化，以便更好地强调一些特征

数据变换的方法：

是否可以用投影的方法对数据预处理，比如 +0（特征向量，奇异值变换）？

是否可以将多个属性合并为单个值？

是否可以发掘某个新的属性，用布尔值表示？

是否可以在时间尺度或是其它维度上有些新发现？

5．特征选择

对图像进行有效信息位置的截取，或者阈值分割去掉背景像素！！！

神经网络受不相关数据的影响很小。它们会对相关特征赋予一个趋近于  的权

重，几乎忽略此特征对预测值的贡献。

可以在训练前移除训练数据的某些属性，提高计算速度，降低这些特征对预测

值的贡献。

在相同的神经网络模型上选择尝试多种特征选择，看看它们的效果分别如何。

也许用更少的特征也能得到同样的、甚至更好的效果。

也许所有的特征选择方法都选择抛弃同一部分特征属性。那么就真应该好好审

视这些无用的特征。

也许选出的这部分特征给你带来了新的启发，构建出更多的新特征。

剩余29页未读，继续阅读

评论收藏

内容反馈

深度学习提升性能的方法.docx

评论0

最新资源

深度学习提升性能的方法.docx

评论0

最新资源

相关推荐

如何提升深度学习性能？数据、算法、模型一个都不能少.doc

年Apache Spark两大发展方向：深度学习和提升实时流性能.docx

基于改进W-DCGAN-ResNet滚动轴承诊断方法.docx

人工智能技术现状.docx

金融大数据服务平台解决方案.docx

文档智能：数字化转型的技术基石.docx

人工智能打造智能家居.docx

商业银行-大数据建设规划.docx

国外人工智能发展及应用.docx

浅析大数据与人工智能的发展.docx

XXX区社会治理大数据平台建设方案(政务大数据平台).docx

YOLOv8-deepsort 实现智能车辆目标检测+车辆跟踪+车辆计数

YOLOv8网络结构图，自制visio文件，yolov8.vsds，需要的自取，在原有的基础上直接改就行了

yolov8(2023年8月版本),已经下好yolov8s.pt和yolov8n.pt

Transformer模型实现长期预测并可视化结果（附代码+数据集+原理介绍）

社交平台上经济类话题的文章热度信息，数据是真实的，但不是真实日期

YOLOV5 + 双目相机实现三维测距（新版本）

行人跌倒数据集（VOC格式）

Unet眼底血管图像分割数据集+代码+模型+系统界面+教学视频.zip

全新的SOTA模型YOLOv9

YOLOV5口罩检测数据集+代码+模型 2000张标注好的数据+教学视频.zip

基于YOLOv8-Pose的姿态识别项目，带数据集可直接跑通的源码

pycharm连接autodl服务器（yolov8训练自己的数据集）

Deep Learning Tuning Playbook（中译版）

zotero翻译插件.xpi

Informer模型实战案例(代码+数据集+参数讲解)

深度学习工具包：Matlab实现的RNN-LSTM与CNN模型 - 专业版下载

YOLOv5 人脸口罩图片数据集

YOLOv8改进，融合Gold-YOLO Neck