每天进步一点点《ML - 人工神经网络》.docx

【人工神经网络（Artificial Neural Network，ANN）】 人工神经网络是模仿生物神经元网络的非线性分类算法，它由大量基本单元组成，通过学习算法模拟人脑的智能活动，用于解决实际问题。大脑中约有100亿个神经元，每个神经元有多个输入端和输出端，它们相互连接，形成复杂的动态网络，负责记忆和思维。人工神经网络就是这种结构的抽象和实现。 **ANN的基本单元和组成** 神经网络通常由输入层、隐藏层和输出层构成。输入层接收样本的特征，输出层提供最终结果，可能有多个输出以支持多分类任务。隐藏层位于两者之间，是复杂的计算层，不直接对应物理意义。每个神经元接收多个输入，经过计算产生输出，这些输出又作为其他神经元的输入，形成多级的计算网络。每个基本单元包含线性组合（Z=θX）和激励函数（例如sigmoid函数），类似于逻辑斯特回归模型，输出值在0到1之间，模拟了神经元的兴奋和抑制状态。 **神经元模拟逻辑运算** 单个神经元可以实现基本的逻辑运算，如与、或、非等。通过组合这些简单的逻辑运算，可以构造出复杂的逻辑系统。神经网络也正是利用这一原理，通过大量简单的神经单元组合，形成能够处理复杂任务的网络。 **多分类** 多分类任务可以通过两种方式实现： 1. 输出层的每个神经元对应一个类别，只有一个神经元输出为1，其余为0。 2. 输出层的每个神经元看作一个比特位，所有神经元的组合可以表示2的K次方种分类。 **前向传播算法（Forward Propagation）** 前向传播算法是神经网络中最基础的计算过程，它从输入层开始，逐层计算直至输出层。在网络中，每层的输出是下一层的输入，通过权重矩阵（Θ）和激活函数（如sigmoid函数）进行转换。在前向传播中，给定输入样本（x,y），按照以下步骤进行计算： 1. 输入层的向量表示为a1=x。 2. 对每一层进行以下计算：计算下一层的输入向量zl+1=(Θl)Ta_l，然后通过激活函数得到该层的输出向量al=g(zl)。 3. 最终得到输出层的向量a5=g(z5)。 这个过程就完成了从输入到输出的前向传播，得出神经网络对输入数据的预测结果。在实际应用中，前向传播是训练神经网络（反向传播）和进行预测的基础步骤。