第十四章 概率图模型1

概率图模型是机器学习中的一种重要工具，它们利用图形结构来表示随机变量之间的相互依赖关系。本章主要探讨了两种类型的概率图模型：有向图模型（如贝叶斯网络）和无向图模型（如马尔可夫网），以及它们在处理不确定性问题中的应用。 概率模型是机器学习的基础，它们旨在根据已有的观察数据来推断未知变量的分布。推断过程涉及计算在给定观测值的情况下，未知变量的条件概率分布。在概率图模型中，结点代表随机变量，边则表示变量之间的依赖关系。有向图模型，即贝叶斯网络，使用有向无环图来描述变量之间的因果关系，而无向图模型，如马尔可夫网，则用无向边表示变量的相关性。 隐马尔科夫模型（HMM）是动态贝叶斯网的简单形式，特别适合处理时序数据，如语音识别和自然语言处理。HMM包含两组变量：状态变量（不可见的隐藏状态）和观测变量（可见的观测输出）。在HMM中，系统状态遵循马尔可夫性质，即当前状态只依赖于前一个状态，不依赖于更早的状态。观测变量的值则依赖于当前的状态。HMM的参数包括状态转移概率、输出观测概率和初始状态概率，这些参数共同决定了模型的行为。 马尔可夫随机场（MRF），又称马尔可夫网，是另一种概率图模型，属于无向图模型。MRF中的每个节点代表一个或一组变量，边连接表示变量间的依赖。模型通过势函数（因子）定义概率分布，这些函数定义在变量子集上，反映了变量组合出现的概率。 HMM和MRF都是用来描述复杂系统中变量相互作用的有效工具。HMM侧重于时间序列分析，适用于那些可以通过一系列观测值推断潜在状态的问题；而MRF则强调空间上的依赖关系，常用于图像分析、计算机视觉等领域，找出图像像素或其它实体之间的关联模式。 在实际应用中，这些模型的参数通常需要通过学习过程（如最大似然估计或贝叶斯推断）从数据中估计得出。学习完成后，模型可以用于预测新数据、识别模式或进行异常检测。由于其强大的表示能力和广泛应用，概率图模型已成为现代机器学习和统计推断的重要组成部分。