Optimizing the echo state network based on mutual information fo...

在处理复杂的生物过程建模任务时，如批次和补料发酵过程，我们需要非常精细和高效的动态神经网络模型。这些模型必须能够处理时间序列数据，并且能够快速训练。回声状态网络（Echo State Network，简称ESN）由于在实值时间序列建模任务中卓越的拟合性能和简单的训练过程而受到关注。ESN的核心概念基于使用随机生成的固定存储池，这是其主要优势之一。然而，ESN也因其随机生成的连接性和权重参数而受到批评。对于给定任务，确定适当的权重参数是一个重要的问题。为了解决这个问题并提高ESN的性能，本文提出了一种基于互信息（Mutual Information，简称MI）的优化方法来优化输入缩放参数和ESN的结构。 基于网络输入和输出之间的互信息，调整多个输入的缩放参数。然后，基于存储器状态之间的互信息对输出权重连接进行优化，以此来“修剪”一些连接以实现最佳性能。此外，为了实现基于互信息的ESN模型，研究者们为一个批次补料青霉素发酵过程设计了三种MI-ESN模型。通过实验结果发现，基于互信息优化的ESN模型（MI-ESN模型）在性能上超越了未经优化的ESN模型和其他传统神经网络。 具体来说，ESN由一组固定的、随机生成的神经元构成的内部存储池（或称为动态回声存储池）组成，输入层向存储池输入信号，输出层根据存储池内部神经元的活动状态产生输出。ESN的训练过程集中在输出权重上，而不是内部存储池的连接权重。由于这种区别于传统递归神经网络的结构，ESN能快速适应并能有效处理非线性动态系统的时间序列预测问题。 然而，在ESN中，输入的缩放参数对于网络性能有显著影响，因此，正确选择这些参数至关重要。互信息是一种度量两个变量之间相互依赖性的统计工具，如果两个变量之间互信息较高，则它们之间存在较多的信息共享。通过最大化输入与输出之间的互信息，我们可以得到最优的输入缩放参数。此外，通过研究存储器状态之间以及存储器状态与输出之间的互信息，可以识别并剪除那些对网络性能贡献较小的输出权重连接。 在这项研究中，三个MI-ESN模型的建立是为了更好地模拟青霉素的补料批次发酵过程。青霉素是一种广泛使用的抗生素，通过特定类型的微生物在一定的生物过程条件下产生。在工业生产中，通过精确控制发酵条件来增加青霉素的产量和纯度，提高经济效益。这些过程通常是高度动态的，涉及到多变量的时间依赖关系，因此ESN成为了一个非常有前景的建模工具。 本文通过互信息优化方法提高了ESN在建模生物发酵过程中的性能，提出的模型在实际的发酵过程中能够实现更好的预测和控制效果。通过对比实验，证实了基于互信息优化的ESN模型在建模准确性上具有明显的优势，这为处理其他类型的复杂动态系统提供了新的思路和方法。