40年代初，美国Mc Culloch和PiMs从信息处理的角度，研究神经细胞行为的数学模型表达．提出了二值神经元模型。MP模型的提出开始了对神经网络的研究进程。1949年心理学家Hebb提出著名的Hebb学习规则，即由神经元之间结合强度的改变来实现神经学习的方法。虽然Hebb学习规则在人们研究神经网络的初期就已提出，但是其基本思想至今在神经网络的研究中仍发挥着重要作用。
人工神经网络（Artificial Neural Network, ANN）是受生物神经元结构启发的一种计算模型，它在20世纪40年代初由美国的Mc Culloch和PiMs通过数学模型研究神经细胞行为而提出。MP模型（McCulloch-Pitts模型）是最早的二值神经元模型，它开启了对神经网络的科学研究。1949年，心理学家Hebb提出了著名的Hebb学习规则，这是神经网络学习的基础，它阐述了神经元之间的连接强度如何随时间和经验而改变，以实现学习过程。
第二章介绍了几种基础的神经网络模型。MP模型是最简单的神经元模型，它只有开/关两种状态。感知器模型（Perceptron Model）由Rosenblatt在50年代末提出，它能处理线性可分的问题，并具有学习能力。自适应线性神经元（Adaptive Linear Neuron, ALN）则是一种可以自我调整权重的神经元模型，能更灵活地适应输入变化。
第三章涉及反向传播算法（Backpropagation, BP），这是多层前馈网络（Feedforward Network）中最常用的训练方法。BP算法在Sigmoid激活函数下能有效地优化网络权重，使得网络能够进行非线性分类和回归。通过BP算法的改进，如动量项的引入，可以加速收敛并减少局部最小值的影响。
第四章讨论Hopfield网络，这是一种用于联想记忆和优化问题的模型。离散型和连续型Hopfield网络分别对应于二值和实值的神经元模型。Hopfield网络在解决旅行商问题（Traveling Salesman Problem, TSP）等组合优化问题中表现出色。
第五章介绍了随机型神经网络，包括模拟退火算法和Boltzmann机，它们常用于全局优化问题。Gaussian机则是另一种随机模型，它利用高斯分布来进行概率决策。
第六章提到了自组织神经网络，如竞争型学习、自适应共振理论（ART）模型和自组织特征映射（Self-Organizing Map, SOM）模型。这些网络具有自我组织和分类的能力，尤其在数据聚类和特征提取方面有重要应用。
第七章探讨了联想记忆神经网络，包括线性联想记忆（LAM）、双向联想记忆（BAM）和时间联想记忆（TAM）。这些模型旨在模拟人脑的联想记忆功能，能够存储和检索复杂的模式。
第八章的CMAC模型（Cerebellar Model Articulation Controller）是一种基于神经元结构的快速记忆系统，它在控制和映射任务中表现优异。
神经网络的研究经历了起起伏伏，从早期的MP模型到后来的感知机、反向传播网络、Hopfield网络等，每个阶段都伴随着理论的深化和技术的进步。尽管Minsky和Papert曾对感知机的局限性提出质疑，导致研究一度陷入低谷，但神经网络的潜力并未被完全否定，反而在后续的几十年里，随着计算能力的提升和理论理解的加深，神经网络逐渐成为机器学习领域的核心工具，广泛应用于图像识别、自然语言处理、推荐系统等领域。
