神经网络发展-更新1
需积分: 0 122 浏览量
2022-08-08
18:54:33
上传
评论
收藏 627KB DOCX 举报
神经网络发展
初始（萌发）期–MP 模型的提出和人工神经网络的兴起。
1943 年，美国神经生理学家 Warren Mcculloch 和数学家 Walter Pitts 合写了一篇关于神经元
如何工作的开拓性文章：“A Logical Calculus of Ideas Immanent in Nervous Activity”。该文指
出，脑细胞的活动像断/通开关，这些细胞可以按各种方式相互结合，进行各种逻辑运算。按
此想法，他们用电路构成了简单的神经网络模型，并预言大脑的所有活动最终将被解释清楚。
虽然问题并非如此简单，但它给人们一个信念，即大脑的活动是靠脑细胞的组合连接实现的。
此模型沿用至今，并且直接影响着这一领域研究的进展。因而他们两人可称为人工神经网络
研究的先驱。
第一次高潮期–感知器模型和人工神经网络
1957 年，计算机专家 Frank Rosenblatt 开始从事感知器的研究，它是一种多层的神经网络。
后续他将此制成硬件，通常被认为是最早的神经网络模型。这项工作首次把人工神经网络的
研究从理论探讨付诸工程实践。当时世界上许多实验室仿效制作感知机，分别应用于文字识
别、声音识别、声纳信号识别以及学习记忆问题的研究。
1959 年，两位电机工程师 Bernard Widrow 和 Marcian Haff 开发出一种叫作自适应线性单元
（ADALINE）的网络模型，并在他们的论文“Adaptive Switching Circuits”中描述了该模型和
它的学习算法（ Widrow-Haff 算法）。该网络通过训练，可以成功用于抵消通信中的回波和
噪声，也可用于天气预报，成为第一个用于实际问题的神经网络。
反思期—神经网络的低潮
1969 年，Marvin Minsky 和 Seymour Papert 合著了一本书“Perception”，分析了当时的简单感
知器，指出它有非常严重的局限性，甚至不能解决简单的“异或”问题，为 Rosenblatt 的感知
器判了“死刑”。此时批评的声音高涨，导致了政府停止对人工神经网络研究所需的大量投资。
不少研究人员把注意力转向了人工智能，导致对人工神经网络的研究陷入低潮。
第二次高潮期—Hopfield 网络模型的出现和人工神经网络的复苏
随着人们对感知机兴趣的衰退，神经网络的研究沉寂了相当长的时间。直到 1984 年，Hopfield
设计研制了后来被人们称为 Hopfield 网的电路，较好地解决了 TCP 问题，找到了最佳解的
近似解，引起了较大轰动。1985 年，Hinton、Sejnowsky、Rumelhart 等研究者在 Hopfield
网络中引入随机机制，提出了所谓的 Bolziman 机。1986 年，Rumelhart 等研究者独立地提
出多层网络的学习算法—BP 算法，较好地解决了多层网络的学习问题。
人们重新认识到神经网络的威力以及付诸应用的现实性。随即，一大批学者和研究人员围绕
着 Hopfield、Hinton 等提出的方法展开了进一步的工作，形成了 80 年代中期以来人工神经
网络的研究热潮。1990 年 12 月，国内首届神经网络大会也在北京成功举行。
第三次高潮期–深度学习
第二轮高潮之后，神经网络的发展就开始不温不火，有段时间影响力都还不如支持向量机。
不过 Hinton 等人于 2006 年提出了深度学习的概念，2009 年 Hinton 把深层神经网络介绍给
做语音的学者们，然后 2010 年语音识别就产生了巨大突破。接下来 11 年 CNN 又被应用在
图像识别领域，取得的成绩令人瞩目。2015 年 LeCun、Bengio 和 Hinton 三位大牛在 Nature
上刊发了一篇综述，题为 Deep Learning，这标志着深度神经网络不仅在工业届获得成功，
评论0
最新资源