第9章 EM算法及其推广 EM算法是一种迭代算法，用于含有隐变量(hidden variable)的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望(expectation)；M步，求极大( maximization )，所以这一算法称为期望极大算法(expectation maximizationalgorith...
软件过程模型也称为软件开发模型，它是软件开发全部过程、活动和任务的结构框架。典型的软件过程模型有瀑布模型、增量模型、演化模型（原型模型、螺旋模型）、喷泉模型、基于构件的开发模型、形式化方法模型、统一过程（UP）模型、敏捷方法等。 1、瀑布模型（Waterfall Model） 瀑布模型是将软件生存周期中各个活动规定为依线性顺序连接的若干阶段的模型，包括需求...
定义:机器学习系统通过如何组合输入信息来对从未见过的数据做出有用的预测。 基本术语 标签：标签是我们要预测的事物，即简单线性回归中的(y)变量。 特征：特征是输入变量，即简单线性回归中的(x)变量，特征可以有多个，是一种可量化的指标。 样本：样本是指数据的特定实例(X)，样本分为有标签样本和无标签样本。 模型：模型定义了特征与标签之间的关系。 训练：是指...
对于许多模型，如物流模型，没有共轭先验 - 所以Gibbs不适用。正如我们在第一篇文章中看到的那样，蛮力网格方法太慢而无法扩展到真实环境。 这篇文章展示了我们如何使用Metropolis-Hastings（MH）从每个被阻挡的Gibbs迭代中的非共轭条件后验中进行采样 - 这是一种比网格方法更好的替代方案。 模型 该示例的模拟数据是患者的横截面数据集。有...
1. 梯度下降法 1.1 梯度下降法的算法思路 算法目的：找到（损失）函数的最小值以及相应的参数值。从而找到最小的损失函数。 梯度下降法：通过模拟小球滚动的方法来得到函数的最小值点。 小球会根据函数形状找到一个下降方向不停的滚动，它的高度一直是下降的。随着时间的推移，小球会滚到底，从而找到最小值点。 但是梯度下降法不能...
一、粒子群算法的历史 粒子群算法源于复杂适应系统（Complex Adaptive System,CAS）。CAS理论于1994年正式提出，CAS中的成员称为主体。比方研究鸟群系统，每一个鸟在这个系统中就称为主体。主体有适应性，它能够与环境及其它的主体进行交流，而且依据交流的过程“学习”或“积累经验”改变自身结构与行为。整个系统的演变或进化包...
点到平面的距离 直线方程：(w_1x_1+w_2x_2+w_0 = 0) 点到直线距离(d = frac {|w_1x_1^{'}+w_2x_2^{'}+w_0|}{sqrt{w^2_1+w^2_2}}) 欧式空间超平面：(w_1x_1+w_2x_2+...+w_dx_d+w_0 = 0) 点到超平面距离： [d = frac {|w_1x_1^{'...
如何通过7个步骤构建机器学习模型 组织构建一个可行的、可靠的、敏捷的机器学习模型来简化操作和支持其业务计划需要耐心、准备以及毅力。 各种组织都在为各行业中的众多应用实施人工智能项目。这些应用包括预测分析、模式识别系统、自主系统、会话系统、超个性化活动和目标驱动系统。每一个项目都有一个共同点：它们都基于对业务问题的理解，并且数据和机器...
http://blog.csdn.net/zouxy09/article/details/20319673 机器学习算法与Python实践之（七）逻辑回归（Logistic Regression） zouxy09@qq.com http://blog.csdn.net/zouxy09 机器学习算法与Python实践这个系列主要是参考《机器学习实战》这本书...
此文转载自：https://blog.csdn.net/master_hunter/article/details/111158447#commentBox 目录 前言 一、Logistic回归模型 二、Logit模型 三、几率 四、Logistic模型 五、基于最优化方法的最佳回归系数确定 5.1梯度上升算法 5.1.1梯度 5.1.2使用梯度上升找到最...