隐型马尔科夫模型(HMM) 简介

摘要:
先介绍一下马尔科夫模型:马尔可夫模型是一种统计模型,广泛应用在语音识别,词性自动标注,音字转换,概率文法等各个自然语言处理等应用领域。HMM模型一共有三个经典的问题需要解决:1)评估观察序列概率。这个问题是HMM模型三个问题中最简单的。

先介绍一下马尔科夫模型:

马尔可夫模型(Markov Model)是一种统计模型,广泛应用在语音识别,词性自动标注,音字转换,概率文法等各个自然语言处理等应用领域。经过长期发展,尤其是在语音识别中的成功应用,使它成为一种通用的统计工具。

特征:有限视野、时间不变性

隐性马尔可夫模型:

HMM(Hidden Markov Model), 也称隐性马尔可夫模型,是一个概率模型,用来描述一个系统隐性状态的转移和隐性状态的表现概率。

特征:1)问题是基于序列的,比如时间序列,或者状态序列。2)问题中有两类数据,一类序列数据是可以观测到的,即观测序列;而另一类数据是不能观察到的,即隐藏状态序列,简称状态序列。

HMM的定义:

对于HMM模型,首先我们假设Q是所有可能的隐藏状态的集合,V是所有可能的观测状态的集合,即:

Q={q1,q2,...,qN},V={v1,v2,...vM}

其中,N是可能的隐藏状态数,M是所有的可能的观察状态数。

对于一个长度为T的序列,I对应的状态序列,O是对应的观察序列,即:

I={i1,i2,...,iT},O={o1,o2,...oT}

其中,任意一个隐藏状态itQ,任意一个观察状态otV

HMM做出了两个很重要的假设:

1) 齐次马尔科夫链假设。即任意时刻的隐藏状态只依赖于它前一个隐藏状态。

2) 观测独立性假设。即任意时刻的观察状态只仅仅依赖于当前时刻的隐藏状态。

HMM模型一共有三个经典的问题需要解决:

1)评估观察序列概率。即给定模型λ=(A,B,Π)和观测序列O={o1,o2,...oT},计算在模型λλ下观测序列OO出现的概率P(O|λ)P(O|λ)。这个问题的求解需要用到前向后向算法。这个问题是HMM模型三个问题中最简单的。

2)模型参数学习问题。即给定观测序列O={o1,o2,...oT},估计模型λ=(A,B,Π)的参数,使该模型下观测序列的条件概率P(O|λ)P(O|λ)最大。这个问题的求解需要用到基于EM算法的鲍姆-韦尔奇算法。这个问题是HMM模型三个问题中最复杂的。

3)预测问题,也称为解码问题。即给定模型λ=(A,B,Π)和观测序列O={o1,o2,...oT},求给定观测序列条件下,最可能出现的对应的状态序列,这个问题的求解需要用到基于动态规划的维特比算法。这个问题是HMM模型三个问题中复杂度居中的算法。

使用条件:

1.隐性状态的转移必须满足马尔可夫性。(状态转移的马尔可夫性:一个状态只与前一个状态有关)

2. 隐性状态必须能够大概被估计。

在满足条件的情况下,确定问题中的隐性状态是什么,隐性状态的表现可能又有哪些.

HMM适用于的问题在于,真正的状态(隐态)难以被估计,而状态与状态之间又存在联系。

参考博客:http://www.cnblogs.com/pinard/p/6945257.html

免责声明:文章转载自《隐型马尔科夫模型(HMM) 简介》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇谷粒商城安装ES及入门(十六)Git 分支及bug分支合并下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

隐型马尔科夫模型(HMM)向前算法实例讲解(暴力求解+代码实现)---盒子模型

先来解释一下HMM的向前算法: 前向后向算法是前向算法和后向算法的统称,这两个算法都可以用来求HMM观测序列的概率。我们先来看看前向算法是如何求解这个问题的。 前向算法本质上属于动态规划的算法,也就是我们要通过找到局部状态递推的公式,这样一步步的从子问题的最优解拓展到整个问题的最优解。在这里我们认为随机过程中各个状态St的概率分布,只与它的前一个状态St-...

隐马尔科夫模型(HMM)及事实上现

马尔科夫模型 马尔科夫模型是单重随机过程,是一个2元组:(S,A)。 当中S是状态集合,A是状态转移矩阵。 仅仅用状态转移来描写叙述随机过程。   马尔科夫模型的2个如果 有限历史性如果:t+l时刻系统状态的概率分布仅仅与t时刻的状态有关,与t时刻曾经的状态无关; 齐次性如果:从t时刻到t+l时刻的状态转移与t的值无关。   以天气模型为例 天气变化有3...

机器学习

概述 命名实体识别在NLP的应用中也是非常广泛的,尤其是是information extraction的领域。Named Entity Recognition(NER) 的应用中,最常用的一种算法模型是隐式马可夫模型(Hidden Markov Modelling)- HMM。本节内容主要是通过介绍HMM的原理,以及应用HMM来做一个NER的实例演示。 H...