非齐次隐马尔可夫因子模型期望最大化算法*(2014年)资源-CSDN文库

工程技术

论文

需积分: 5 160 浏览量 2021-05-22 17:21:17 上传评论收藏 1.01MB PDF 举报

资源推荐

资源详情

资源评论

程玉胜，丁美文，夏叶茂.非齐次隐马尔可夫因子模型期望最大化算法[J].计算机科学与探索，2014，8（3）：359-367.

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2014/08(03)-0359-09

doi: 10.3778/j.issn.1673-9418.1309004

E-mail: fcst@vip.163.com

http://www.ceaj.org

Tel: +86-10-89056056

非齐次隐马尔可夫因子模型期望最大化算法

程玉胜

，丁美文

，夏叶茂

1. 安庆师范学院数学与计算科学学院，安徽安庆 246011

2. 南京林业大学应用数学系，南京 210037

Expectation-Maximization Algorithm about Non-Homogenous Hidden Markov

Factor Model

􀆽

CHENG Yusheng

, DING Meiwen

, XIA Yemao

1. School of Mathematics & Computation Sciences, Anqing Normal University, Anqing, Anhui 246011, China

2. Department of Applied Mathematics, Nanjing Forestry University, Nanjing 210037, China

+ Corresponding author: E-mail: chengyshaq@163.com

CHENG Yusheng, DING Meiwen, XIA Yemao. Expectation-maximization algorithm about non-homogenous

hidden Markov factor model. Journal of Frontiers of Computer Science and Technology, 2014, 8(3)：359-367.

Abstract: Latent variable model plays an important role in characterizing interrelationship among factor variables

and constructing relationships between factor and observed variable. However, in real applications, data set often

takes on the temporal variability, multimode, skewness, and so on. This paper extends the classic latent variable

model to the latent variable model mixed with non-homogenous hidden Markov model. In order to avoid integral

about complete data, this paper introduces the expectation-maximization (EM) algorithm to calculate the likelihood

function. At the same time, this paper presents the corresponding statistics using the Akaike information criterion

and the Bayes information criterion to select appropriate model, which effectively solves the estimation problem in

the hidden Markov model. Finally, the experiments are carried out in the mental-health data and the results show

that the method is effective.

Key words: hidden Markov model; latent variable model; expectation-maximization (EM); forward-backward recursion

* The National Natural Science Foundation of China under Grant No. 61306046 (国家自然科学基金); the Natural Science Foundation

of Anhui Province of China under Grant Nos. 070412061, 10040606Q42 (安徽省自然科学基金).

Received 2013-09, Accepted 2013-12.

CNKI 网络优先出版：2013-12-05, http://www.cnki.net/kcms/detail/11.5602.TP.20131205.1429.002.html

Journal of Frontiers of Computer Science and Technology 计算机科学与探索 2014, 8(3)

1 引言

潜变量模型

[1-3]

是一种广泛应用于行为学、教育

学和社会心理学等领域的一种多元统计模型。该模

型的基本特点是：主要借助于不可观测的因子变量

来刻画潜在因素之间的相互关联性，进而解释观测

指标（变量）之间的关联性。当前许多著名的统计软

件如 LISERL8

[4]

、EQS6

[5]

、Mplus

[6]

等可直接使用该模

型进行相关统计分析。然而在实际应用中，多元数

据不仅呈现出指标之间的关联性，而且还呈现出时序

方面的变异特点；同时，观测数据还呈现出多峰、偏态、

异常点等异质性，这对基于独立性和正态性假设的因

子分析模型构成的统计分析方法直接带来了挑战。

起源于20 世纪60 年代的隐马尔可夫模型（hidden

Markov model）近年来得到日益关注

[7-8]

。该模型由

隐马尔可夫过程和观测过程组成。前者形成一阶离

散马尔可夫过程，用来描述各个潜在状态之间的概

率转移；后者描述状态与观察序列间的关系。当前，

隐马尔可夫模型被广泛应用于各种学科，如语音处

理

[9]

、生物化学

[10]

、生物学

[11]

、心理与教育测量

[12-13]

等。

MacDonald 等人

[14]

对该模型的数学性质、统计建模和

应用进行了较为全面的综述。特别是在多元纵向数

据分析领域，Scott 等人

[15]

对多元连续型数据提出了

基 t-模型的混合隐马尔可夫模型。Altman

[16]

对病变

计数数据提出了两状态混合效应隐马尔可夫模型，

并比较了多种参数估计方法。Ip 等人

[17]

最近对残疾

人的病情发展建立了混合偏序的隐马尔可夫模型。

Schmittmann 等人

[18]

还对多元正态数据建立了一个离

散齐次隐马尔可夫模型。上述这些工作局限性在于

随机过程被限制在单个过程（包括观察和隐藏的变

量）或潜在的时齐过程中，这对于解释观测变量之间

的相互关系显得不足。

近年来，隐马尔可夫模型在国内得到一定的应

用。王新民等人

[19]

将隐马尔可夫模型的观测模型推

广到隐齐次马尔可夫正交因子分析模型。该模型假

定因子变量协方差矩阵为单位阵，且转移概率有时

齐性。这种假定在计算上具有一定的便利性，但对

于刻画因子的关联性方面尚不够充分。同时，马尔

可夫时齐性的假定也忽略了协变量对转移概率的影

响。另外，该文对模型的统计性质的论述有限。

本文将经典的隐马尔可夫观测模型延伸到一般

的潜变量模型，并建立非齐次隐马尔可夫潜变量模

型。这种延伸带来了计算上的挑战，虽然模型的拟

合（包括状态维数的选择和相关参数的选择）较通常

的隐马尔可夫模型复杂，但该模型对于刻画观测数

据的关联性，解释数据的时序变异和数据的异质提

供了一种新的途径。本文安排如下：首先构建潜马

尔可夫因子模型，然后进行极大似然分析。在计算

上，结合向前向后递推

[20]

的期望最大化（expectation-

maximization，EM）算法

[21]

进行参数估计，并提出模型

选择和相关参数的假设检验统计方法。最后基于真

实模型进行了随机模拟，并对社会-心理数据进行了

统计分析。

2 潜马尔可夫因子模型

对 i = 12Nt = 12T 设 y

为个体 i

在时刻 t 的 p 维观测向量，考虑如下的因子模型：

摘要：潜变量模型在刻画因子之间的相互关系以及因子与观测变量之间的关联性时具有重要作用。在实际

应用中，观测数据往往呈现出时序变异、多峰、偏态等特性，因此将经典的潜变量模型延伸到非齐次隐马尔可

夫潜变量模型，并且为避免对完全数据的积分计算，将期望最大化（expectation-maximization，EM）算法引入到

似然函数的计算上；采用 Akaike信息准则和 Bayes 信息准则选择合适的模型，提出了相应的统计计算和检验方

法，有效解决了隐马尔可夫模型中的最大估算似然函数问题；最后选择心理-健康数据进行了实验，实验结果表

明该方法是有效的。

关键词：隐马尔可夫模型；潜变量模型；期望最大化（EM）；向前向后递推

文献标志码：A 中图分类号：TP18；O212.8

360

剩余8页未读，继续阅读

评论收藏

内容反馈

weixin_38738983

粉丝: 5
资源: 872

非齐次隐马尔可夫因子模型期望最大化算法* (2014年)

最新资源

非齐次隐马尔可夫因子模型期望最大化算法* (2014年)

HMRF-EM-image:隐马尔可夫随机场模型及其期望最大化算法的实现-matlab开发

基于隐马尔可夫模型的转录因子文本挖掘算法 (2012年)

em算法matlab代码-HMRF-EM:HMRF的MATLAB实现，如“通过隐马尔可夫随机场模型和期望最大化算法对脑MR图像进行分段”（Zh

基于隐马尔可夫模型的转录因子文本挖掘算法.pdf

EM:期望最大化算法、混合模型和隐马尔可夫模型入门

高斯混合模型：代码通过期望最大化算法找出高斯混合模型的参数。-matlab开发

具有高斯混合模型的期望最大化算法：EM算法与GMM的Matlab实现-matlab开发

[免资源分]期望最大化 EM算法的详细讲解

matlab自相关代码-factor_analysis:用期望最大化算法求解因子分析模型

mdp（马尔可夫决策过程）2009年matlab源码，非常详细全面，非常实用

Introduction to Probabilistic Graphical Models_M.I.Jordan_2003.pdf

使用高斯混合模型和EM进行水下浮标检测：使用高斯混合模型和期望最大化算法检测水下浮标

rem:REM - 基于期望最大化算法的回归模型-开源

fhmm_fhmm_

Stanford CS229 机器学习笔记

基于期望最大化算法的Rayleigh-Pearson混合模型参数估计

斯坦福ML机器学习课程笔记 （1-16节完整版，附原始NG英文讲义）

prml英文版答案

看不懂的CRF算法.docx

关于HMM模型算法的一种改进.pdf

数学建模常用模型方法总结

白板推导9 概率图模型1

统计学EM算法

EM算法,em算法的基本思想和步骤,matlab源码.zip

统计学习方法_李航

MIT 18.409：机器学习的算法层面

常用数学建模算法简易介绍

最新资源

斯坦福ML机器学习课程笔记（1-16节完整版，附原始NG英文讲义）