第9章 EM算法及其推广 EM算法是一种迭代算法，用于含有隐变量(hidden variable)的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望(expectation)；M步，求极大( maximization )，所以这一算法称为期望极大算法(expectation maximizationalgorith...
含有隐藏变量时，不好直接求极大似然，可以考虑用EM算法。 参考 （EM 算法）The EM Algorithm从最大似然到 EM 算法浅解 1.Jensen 不等式 回顾优化理论中的一些概念。 设 f 是定义域为实数的函数，如果对于所有的实数 x，，那么 f 是凸函数。 当 x 是向量时，如果其 hessian 矩阵 H 是半正定的（），那么 f 是凸函...
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。 1. GMM模型： 每一个 GMM 由 K 个 Gaussi...
一、极大似然已经发生的事件是独立重复事件，符合同一分布已经发生的时间是可能性（似然）的事件利用这两个假设，已经发生时间的联合密度值就最大，所以就可以求出总体分布f中参数θ 用极大似然进行机器学习有监督学习：最大熵模型无监督学习：GMM 二、熵和信息自信息i(x) = -log(p(x)) 信息是对不确定性的度量。概率是对确定性的度量，概率越大，越确定，可能...
I. 牛顿迭代法给定一个复杂的非线性函数f(x)，希望求它的最小值，我们一般可以这样做，假定它足够光滑，那么它的最小值也就是它的极小值点，满足f′(x0)=0，然后可以转化为求方程f′(x)=0的根了。非线性方程的根我们有个牛顿法，所以 然而，这种做法脱离了几何意义，不能让我们窥探到更多的秘密。我们宁可使用如下的思路：在y=f(x)的x=xn这一点处，我...