机器学习 —— 概率图模型(推理:MAP)

摘要:
MAP是最大后验概率的缩写。后验概率是指当存在某些观测时,其他随机变量的推断。在医学诊断系统中,有许多随机变量,包括疾病、症状等。使用VE或消息传递等推理方法,可以真正获得每个随机变量的概率和一些随机变量的联合概率。W是一个尚未观察到的随机变量。这一概率的最大意义是推断在获得观测后最有可能发生的事情。

  MAP 是最大后验概率的缩写。后验概率指的是当有一定观测结果的情况下,对其他随机变量进行推理。假设随机变量的集合为X ,观察到的变量为 e, W = X-e , AP = P(W|e). 后验概率和联合概率是不同的两个概念。事实上,后验概率更接近推理本身的“意义”,并且被越来越多的用于诊断系统中。在医疗诊断系统中,存在包括病症,症状等许多随机变量,使用VE或者消息传递之类的推理手段确实可以获得每个随机变量的概率以及某些随机变量的联合概率(一个Scope的概率)。但实际上,如果面对某些很少出现的症状以及对应病症,联合概率密度函数并不合适,比如病人红细胞减少的概率非常小,但红细胞减少很大几率上对应“白血病”。如果求联合分布则会得到一个较小的概率值(因为得白血病的人本来就不多,加上有其他症状干扰),但是如果使用后验概率,则能排除此干扰。

1. 积化和的最大化  

  最大后验概率是一种推理手段。w = argmax P(W|e)。 W是尚未观测到的随机变量,使得此概率最大的意义是在获得某观测后,推断最可能发生了什么。这个公式把MAP变成了一个优化问题。P(X)实际上是一系列 P(scope)的乘积。在取对数的情况下,积就变成了和,对数的底是可以随意选择的。demo example 如下图所示.

机器学习 —— 概率图模型(推理:MAP)第1张

  如果 PHI_k (Dk) 是链状分解的情况下,可以采用变量分离最大化的方式来求取其最大值。如图所示:

机器学习 —— 概率图模型(推理:MAP)第2张

  由变量边际类比可知,还可由消息传递的方式来计算最终结果。实际上这里的最大值代替了边际。利用消息传递的方式计算最大后验概率如图所示:

机器学习 —— 概率图模型(推理:MAP)第3张

  最大化执行完毕后,得到的是各个变量的“势”,以及使得“势”最大的变量组合取值。简而言之,就是一组推断的结果。

 

2. NP完备的MAP问题

2.1 对应问题

  对应问题是在工程中经常碰到的问题。例如多目视觉中的配准,同一个物体被不同像素观测到。那么我们关心的两个不同的像素值各是多少。这个像素值本质是随机变量,物体是观测量。该问题可以直观的表示为下图:

  机器学习 —— 概率图模型(推理:MAP)第4张

机器学习 —— 概率图模型(推理:MAP)第5张

2.2 联系势能与最小割

  联系势能往往用于一种特殊的MRF中,例如 pair wise MRF(成对的马尔科夫网络)。这种网络有一个特点就是随机变量之间两两相连,随机变量(用于图像分割问题则是label,三维重构中则是深度)可以分为两个部分,第一是图的顶点,也就是图片的像素,第二是图的边,也就是两个相连像素的邻接关系(xixj)。pair wise 马尔科夫场就是这样定义变量scope的,原因不明。

  针对相邻的两个变量,可以定义Phi_(xi,xj)为联系势能,其表述如下图所示。

机器学习 —— 概率图模型(推理:MAP)第6张

  其中,a+d>b+c表示相邻的两个像素应该相近。此外再利用罚函数防止边缘误判。最后通过最小割算法对连接势能进行分割则可达成图像分割的目的。

2.3 基数因子,离散因子

  因子法比较简单粗暴,直接对某种随机变量的特定组合,一般是scope的组合,定义一个因子,希望可能发生的就把因子定义的尽可能大。其中基数因子利用直接统计随机变量取值的方式,如相邻4像素均为蓝色,则label可能是天空的概率就极高。

  离散因子法是针对某些特定组合定义较高的势能,而其他组合则给较低的势能,这种势能定义方法往往用于输入判断。如果输入某个拼音组合和字典中的某个词对应,则提示改词。

2.4 凸因子

  凸因子是在一串随机变量中给出一个凸紧集的方式,本质上是强化目标的连续性。例如图像分割问题中,相邻像素的label极大可能是相同的。以此为约束可提高运算速度。

免责声明:文章转载自《机器学习 —— 概率图模型(推理:MAP)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇Bat脚本之延时变量cmd /v:onfcitx5 主题设置下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

机器学习算法与Python实践之(七)逻辑回归(Logistic Regression)

http://blog.csdn.net/zouxy09/article/details/20319673 机器学习算法与Python实践之(七)逻辑回归(Logistic Regression) zouxy09@qq.com http://blog.csdn.net/zouxy09 机器学习算法与Python实践这个系列主要是参考《机器学习实战》这本书...

位姿检索PoseRecognition:LSH算法.p稳定哈希

位姿检索使用了LSH方法,而不使用PNP方法,是有一定的来由的。主要的工作会转移到特征提取和检索的算法上面来,有得必有失。因此,放弃了解析的方法之后,又放弃了优化的方法,最后陷入了检索的汪洋大海。 0:转自wiki:http://en.wikipedia.org/wiki/Locality_sensitive_hashing 以下参考资料仅供参考:LS...

AUC指标深度理解

AUC 指标 直观意义 AUC 指标用于评价分类器对于正、负样例的辨别能力,对出结果的排序位置(按照预测为正例的概率)敏感。 为什么提出这个指标? 一般来讲,精确率、召回率等指标,都需要设定一个阈值去判别是属于正类还是负类,例如预测分大于等于0.5判别为正类,小于0.5判别为负类。如何设定这个阈值,是个问题。而AUC这个指标则不需要设阈值。(或者说,每种...

理解 LDA 主题模型

前言 gamma函数 0 整体把握LDA 1 gamma函数 beta分布 1 beta分布 2 Beta-Binomial 共轭 3 共轭先验分布 4 从beta分布推广到Dirichlet 分布 Dirichlet 分布 1 Dirichlet 分布 2 Dirichlet-Multinomial 共轭 主题模型LDA 1 各个基础模型...

统计学中抽样比例一般占百分之多少

要具体问题具体分析,一般和要求的误差限、置信区间及总体方差有关系.比如最基本的简单随机抽样,其样本量确定公式就是1/n=1/N+d^2/(u^2*S^2).样本量和误差限成反比,和置信区间及总体方差成正比.请问一堆url怎么算方差。(。。。)...

假设检验(Hypothesis Testing)

假设检验的定义 假设检验:先对总体参数提出某种假设,然后利用样本数据判断假设是否成立。在逻辑上,假设检验采用了反证法,即先提出假设,再通过适当的统计学方法证明这个假设基本不可能是真的。(说“基本”是因为统计得出的结果来自于随机样本,结论不可能是绝对的,所以我们只能根据概率上的一些依据进行相关的判断。) 假设检验依据的是小概率思想,即小概率事件在一次试验中基...