书书书
第
４２
卷
第
３
期
２０１９
年
３
月
计
算
机
学
报
ＣＨＩＮＥＳＥ
ＪＯＵＲＮＡＬ
ＯＦ
ＣＯＭＰＵＴＥＲＳ
Ｖｏｌ．４２ Ｎｏ．３
Ｍａｒ．２０１９
收稿日期
：
２０１６
－
０６
－
２２
；
在线出版日期
：
２０１７
－
０９
－
１８．
本课题得到国家
“
九七三
”
重点基础研究发展规划项目基金
（
２０１５ＣＢ３５１７０５
）、
国家自然
科学基金重点项目
（
６１３３２０１８
）、
国家自然科学基金青年科学基金项目
（
６１７０３３４４
）、
中央高校基本科研业务费专项资金
（
３１０２０１７ＯＱＤ０２１
）
资
助
．
张
顺
，
男
，
１９８７
年生
，
博士
，
助理教授
，
主要研究方向为计算机视觉和机器学习
．Ｅ
－
ｍａｉｌ
：
ｓｚｈａｎ
ｇ
＠
ｎｗ
ｐ
ｕ．ｅｄｕ．ｃｎ．
龚怡宏
，
男
，
１９６３
年
生
，
博士
，
教授
，
博士生导师
，“
国家千人计划
”
专家
，
主要研究领域为多媒体内容分析
、
机器学习和模式识别
．
王进军
，
男
，
１９７７
年生
，
博士
，
教授
，
博士生导师
，
中国计算机学会
（
ＣＣＦ
）
会员
，
主要研究领域为模式识别
、
机器学习和多媒体计算
．
深度卷积神经网络的发展及其在
计算机视觉领域的应用
张
顺
１
）
龚怡宏
２
）
王进军
２
）
１
）
（
西北工业大学电子与信息学院
西安
７１００７２
）
２
）
（
西安交通大学人工智能与机器人研究所
西安
７１００４９
）
摘
要
作为类脑计算领域的一个重要研究成果
，
深度卷积神经网络已经广泛应用到计算机视觉
、
自然语言处理
、
信息检索
、
语音识别
、
语义理解等多个领域
，
在工业界和学术界掀起了神经网络研究的浪潮
，
促进了人工智能的发
展
．
卷积神经网络直接以原始数据作为输入
，
从大量训练数据中自动学习特征的表示
．
卷积神经网络具有局部连
接
、
权值共享和池化操作等特性
，
可以有效降低网络复杂度
，
减少训练参数的数目
，
使模型对平移
、
扭曲
、
缩放具有
一定程度的不变性
．
目前
，
深度卷积神经网络主要是通过增加网络的层数
，
使用更大规模的训练数据集
，
以及改进
现有神经网络的网络结构或训练学习算法等方法
，
来模拟人脑复杂的层次化认知规律
，
拉近与人脑视觉系统的差
距
，
使机器获得
“
抽象概念
”
的能力
．
深度卷积神经网络在图像分类
、
目标检测
、
人脸识别
、
行人再识别等多个计算机视
觉任务中都取得了巨大成功
．
该文首先回顾了卷积神经网络的发展历史
，
简单介绍了
Ｍ
－
Ｐ
神经元模型
、
Ｈｕｂｅｌ
－
Ｗｉｅｓｅｌ
模型
、
神经认知机
、
用于手写识别的
ＬｅＮｅｔ
以及用于
Ｉｍａ
ｇ
ｅＮｅｔ
图像分类比赛的深度卷积神经网络
．
然后详细分析
了深度卷积神经网络的工作原理
，
介绍了卷积层
、
采样层
、
全连接层的数学表示及各自发挥的作用
．
接着该文重点
从以下三个方面介绍卷积神经网络的代表性成果
，
并通过实例展示各种技术方法对图像分类精度的提升效果
．
从
增加网络层数方面
，
讨论并分析了
ＡｌｅｘＮｅｔ
、
ＺＦ
－
Ｎｅｔ
、
ＶＧＧ
、
Ｇｏｏ
ｇ
ＬｅＮｅｔ
和
ＲｅｓＮｅｔ
等经典卷积神经网络的结构
；
从
增加数据集规模方面
，
介绍了人工增加标注样本的难点以及使用数据扩增技术对神经网络性能提升的作用
；
从改
进训练方法方面
，
介绍了包括
Ｌ２
正则化
、
Ｄｒｏ
ｐ
ｏｕｔ
、
Ｄｒｏ
ｐ
Ｃｏｎｎｅｃｔ
、
Ｍａｘｏｕｔ
等常用的正则化技术
，
Ｓｉ
ｇ
ｍｏｉｄ
函数
、
ｔａｎｈ
函数以及
ＲｅＬＵ
函数
、
ＬＲｅＬＵ
函数
、
ＰＲｅＬＵ
函数等常用的神经元激活函数
，
ｓｏｆｔｍａｘ
损失
、
ｈｉｎ
ｇ
ｅ
损失
、
ｃｏｎｔｒａｓｔｉｖｅ
损失
、
ｔｒｉ
ｐ
ｌｅｔ
损失等不同损失函数
，
以及
ｂａｔｃｈ
ｎｏｒｍａｌｉｚａｔｉｏｎ
技术的基本思想
．
针对计算机视觉领域
，
该文重点介绍
了卷积神经网络在图像分类
、
目标检测
、
人脸识别
、
行人再识别
、
图像语义分割
、
图片标题生成
、
图像超分辨率
、
人体
动作识别以及图像检索等方面的最新研究进展
．
从人类视觉认知机制出发
，
分析了视觉信息分层处理和
“
大范围优
先
”
视觉认知过程的相关理论成果和对当前计算模型的一些理论启示
．
最后提出了未来基于深度卷积神经网络的
类脑智能研究待解决的问题与挑战
．
关键词
类脑智能
；
神经网络
；
深度学习
；
计算机视觉
；
视觉认知
中图法分类号
ＴＰ１８
ＤＯＩ
号
１０．１１８９７
／
ＳＰ．Ｊ．１０１６．２０１９．００４５３
Ｔｈｅ
Ｄｅｖｅｌｏ
ｐ
ｍｅｎｔ
ｏｆ
Ｄｅｅ
ｐ
Ｃｏｎｖｏｌｕｔｉｏｎ
Ｎｅｕｒａｌ
Ｎｅｔｗｏｒｋ
ａｎｄ
Ｉｔｓ
Ａ
ｐｐ
ｌｉｃａｔｉｏｎｓ
ｏｎ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｖｉｓｉｏｎ
ＺＨＡＮＧ
Ｓｈｕｎ
１
）
ＧＯＮＧ
Ｙｉ
－
Ｈｏｎ
ｇ
２
）
ＷＡＮＧ
Ｊｉｎ
－
Ｊｕｎ
２
）
１
）
（
Ｓｃｈｏｏｌ
ｏ
ｆ
Ｅｌｅｃｔｒｏｎｉｃｓ
ａｎｄ
Ｉｎ
ｆ
ｏｒｍａｔｉｏｎ
，
Ｎｏｒｔｈｗｅｓｔｅｒｎ
Ｐｏｌ
ｙ
ｔｅｃｈｎｉｃａｌ
Ｕｎｉｖｅｒｓｉｔ
ｙ
，
Ｘｉ
’
ａｎ
７１００７２
）
２
）
（
Ｉｎｓｔｉｔｕｔｅ
ｏ
ｆ
Ａｒｔｉ
ｆ
ｉｃｉａｌ
Ｉｎｔｅｌｌｉ
ｇ
ｅｎｃｅ
ａｎｄ
Ｒｏｂｏｔｉｃｓ
，
Ｘｉ
’
ａｎ
Ｊｉａｏｔｏｎ
ｇ
Ｕｎｉｖｅｒｓｉｔ
ｙ
，
Ｘｉ
’
ａｎ
７１００４９
）
Ａｂｓｔｒａｃｔ
Ａｓ
ｔｈｅ
ｉｍ
ｐ
ｏｒｔａｎｔ
ｒｅｓｅａｒｃｈ
ａｃｈｉｅｖｅｍｅｎｔ
，
ｄｅｅ
ｐ
ｃｏｎｖｏｌｕｔｉｏｎａｌ
ｎｅｕｒａｌ
ｎｅｔｗｏｒｋｓ
ｈａｖｅ
ｂｅｅｎ
ｗｉｄｅｌ
ｙ
ａ
ｐｐ
ｌｉｅｄ
ｔｏ
ｖａｒｉｏｕｓ
ｆｉｅｌｄｓ
ｓｕｃｈ
ａｓ
ｃｏｍ
ｐ
ｕｔｅｒ
ｖｉｓｉｏｎ
，
ｎａｔｕｒａｌ
ｌａｎ
ｇ
ｕａ
ｇ
ｅ
ｐ
ｒｏｃｅｓｓｉｎ
ｇ
，
ｉｎｆｏｒｍａｔｉｏｎ
ｒｅｔｒｉｅｖａｌ
，
ｓ
ｐ
ｅｅｃｈ
ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
，
ｓｅｍａｎｔｉｃ
ｕｎｄｅｒｓｔａｎｄｉｎ
ｇ
，
ａｎｄ
ｈａｖｅ
ａｔｔｒａｃｔｅｄ
ａ
ｗａｖｅ
ｏｆ
ｎｅｕｒａｌ
评论0