在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签 可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，该问题的目的是辨识10个不同的单个数字。Softmax回归是有监督的，不过后面也会介绍它与深度学习/无监督学习方法的结合。（译者注： MNIST...
1. 梯度下降法 1.1 梯度下降法的算法思路 算法目的：找到（损失）函数的最小值以及相应的参数值。从而找到最小的损失函数。 梯度下降法：通过模拟小球滚动的方法来得到函数的最小值点。 小球会根据函数形状找到一个下降方向不停的滚动，它的高度一直是下降的。随着时间的推移，小球会滚到底，从而找到最小值点。 但是梯度下降法不能...
生物统计学-参数估计 参数估计需要未知参数的估计量和一定置信度 估计方法：用点估计估计一个值；用区间估计估计值的可能区间和是该值的可能性。 对估计值的评价标准： 无偏性是估计量（不一定是样本均值）抽样分布的数学期望等与总体参数的真值。 有效是有时几组数据都是无偏的，但是此时有效数是方差最小的。 一致性是指样本变大，估计越准。 现存方法都是通过这三个评价标准...
原文链接：http://tecdat.cn/?p=12280 总览 本文简要介绍了一种简单的状态切换模型，该模型构成了隐马尔可夫模型（HMM）的特例。这些模型适应时间序列数据中的非平稳性。从应用的角度来看，这些模型在评估经济/市场状态时非常有用。这里的讨论主要围绕使用这些模型的科学性。 基本案例 HMM的主要挑战是预测隐藏部分。我们如何识别“不可观察”的...
一、生存分析(survival analysis)的定义 生存分析：对一个或多个非负随机变量进行统计推断，研究生存现象和响应时间数据及其统计规律的一门学科。 生存分析：既考虑结果又考虑生存时间的一种统计方法，并可充分利用截尾数据所提供的不完全信息，对生存时间的分布特征进行描述，对影响生存时间的主要因素进行分析。 生存分析不同于其它多因素分析的主要区...
在深度学习中，我们通常对模型进行抽样并计算与真实样本之间的损失，来估计模型分布与真实分布之间的差异。并且损失可以定义得很简单，比如二范数即可。但是对于已知参数的两个确定分布之间的差异，我们就要通过推导的方式来计算了。 下面对已知均值与协方差矩阵的两个多维高斯分布之间的KL散度进行推导。当然，因为便于分布之间的逼近，Wasserstein dista...
极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。 直接说，就是在给定样本的输出结果时，我们来估计参数。 它是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是：一个随机试验如有若干个可能的结果A，B，C，…。若在仅仅作一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大。一般地，事件A发生的概率与...
最近课程作业让阅读了这篇经典的论文，写篇学习笔记。 主要是对论文前半部分Lasso思想的理解，后面实验以及参数估计部分没有怎么写，中间有错误希望能提醒一下，新手原谅一下。 1.整体思路 作者提出了一种收缩和选择方法Lasso，这是一种可以用于线性回归的新的估计方法。它具有子集选择和岭回归的各自的优点。像子集选择一样可以给出具有解释力的模型，又能像岭回归...
在实际的计量经济学问题中，完全满足回归的基本假设的情况并不多见。不满足基本假定的情况。称为违背基本假定 违背基本假定的情况主要包括： 随机干扰项存在异方差 随机干扰项的序列相关（或称自相关） 解释变量之间的多重共线 解释变量为随机变量，存在内生性 异方差性 线性模型的基本假设中有var(u|x1,x2...xk)=d，即随机干扰项的方差不因自变量的不...
原文链接:http://tecdat.cn/?p=16708 波动率是一个重要的概念，在金融和交易中有许多应用。这是期权定价的基础。波动率还使您可以确定资产分配并计算投资组合的风险价值（VaR）。甚至波动率本身也是一种金融工具，例如CBOE的VIX波动率指数。但是，与证券价格或利率不同，波动不能直接观察到。 取而代之的是，它通常被衡量为来自证券或市场指数...