Neural Networks 神经网络 第二章

Neural Networks 神经网络 第二章 Neural Networks: A Systematic Introduction from: Springer chapter1: Threshold Logic ### 知识点一：阈值逻辑（Threshold Logic） 在《神经网络：系统性介绍》第二章中，作者R. Rojas介绍了阈值逻辑的概念。这部分内容主要关注构成人工神经网络的基本计算单元。这些单元是对传统计算中常用逻辑门的一种泛化，并且它们通过将总输入与一个阈值进行比较来运作，因此该领域被称为阈值逻辑。 #### 2.1 网络的功能 本节探讨了用于构建人工神经网络的最简单的计算单元。这些计算元素是对传统逻辑门的一种泛化，因为它们通过将输入与阈值进行比较来进行操作，所以这一研究领域被命名为阈值逻辑。 ### 知识点二：前馈与循环网络 #### 2.1.1 前馈与循环网络 通过对生物神经网络特性和结构的回顾，我们得到了更深入探究抽象神经元网络属性的初步动机。从工程师的角度来看，定义网络应该如何行为是非常重要的，而无需完全指定所有参数，这些参数将在学习过程中找到。人工神经网络在许多情况下被用作黑盒：特定输入应该产生期望的输出，但网络如何实现这一结果则留给自组织过程处理。 - **前馈网络**：在这种类型的网络中，信息沿着单向路径流动，没有回路或反馈连接。这意味着一旦数据进入网络，它就会按照固定的顺序流经各个层，直到产生最终输出。这种类型的网络通常用于分类任务。 - **循环网络**：与前馈网络不同，循环网络包含反馈连接，使得信息能够在网络中的某些节点来回传递。这允许网络具有记忆功能，使其适用于序列数据处理任务，如自然语言处理和时间序列预测。 ### 知识点三：神经网络作为黑盒 人工神经网络可以被视为一种黑盒模型，其目的是将n维实数输入 \((x_1, x_2, ..., x_n)\) 映射到m维实数输出 \((y_1, y_2, ..., y_m)\)。简而言之，神经网络可以被视为一种“映射机器”，能够模拟函数 \(F: \mathbb{R}^n \rightarrow \mathbb{R}^m\)。 #### 动态特性 - **无环网络**：如果网络中不存在循环，则整个计算过程是明确的，无需考虑计算单元之间的同步问题。假设计算是在没有延迟的情况下进行的。 - **含环网络**：如果网络中存在循环，则计算过程不是唯一由互连模式定义的，必须考虑时间维度。 ### 知识点四：函数组合 函数组合是理解网络内部运作方式的一个关键概念。当网络包含多个计算节点时，这些节点计算的值随后作为新计算的输入。例如，假设有一个简单的网络，包含两个函数 \(f\) 和 \(g\)，其中 \(g\) 的输出作为 \(f\) 的输入。这种结构可以表示为 \(f(g(x))\)，其中 \(x\) 是初始输入，\(g(x)\) 是中间计算结果，而 \(f(g(x))\) 是最终输出。 ### 总结 本章介绍了阈值逻辑的基本概念及其在网络中的应用。重点讨论了前馈与循环网络的区别，以及网络作为黑盒模型的应用场景。通过这些基础知识的学习，我们可以更好地理解人工神经网络的工作原理及其在各种实际问题中的应用。