普通交叉验证(OCV)和广义交叉验证(GCV)

摘要:
普通交叉验证OCVOCV是由Allen在回归背景下提出的,之后Wahba和Wold在讨论了确定多项式回归中多项式次数的背景,在光滑样条背景下提出OCV。Craven和Wahba,Silverman,Bates和其他人,Wahba等人提出了所谓的GCV标准。广义交叉验证的加权验证技术被用于协方差模型选择和参数估计。

普通交叉验证OCV

OCV是由Allen(1974)在回归背景下提出的,之后Wahba和Wold(1975)在讨论 了确定多项式回归中多项式次数的背景,在光滑样条背景下提出OCV。

普通交叉验证(OCV)和广义交叉验证(GCV)第1张

普通交叉验证(OCV)和广义交叉验证(GCV)第2张

普通交叉验证(OCV)和广义交叉验证(GCV)第3张

Craven和Wahba(1979),Silverman(1985),Bates和其他人(1987),Wahba(1990)等人提出了所谓的GCV标准。

广义交叉验证的加权验证技术被用于协方差模型选择和参数估计。

The GCV funtion V(λ) is defined by :

普通交叉验证(OCV)和广义交叉验证(GCV)第4张

具体详见(Spline models for observation data 的第四章介绍)

相关参考文献:

  1. Allen, David M. The Relationship Between Variable Selection and Data Agumentation and a Method for Prediction. Technometrics, Vol. 16, No. 1 (February, 1974), pp. 125-127

  2. Craven, Peter and Wahba, Grace. Smoothing Noisy Data with Spline Functions. Numerische Mathematik 31, (1979), pp. 377-403

  3. Efron, Bradley. How Biased Is the Apparent Error Rate of a Logistic Regression? Technical report no. 232. Department of Statistics, Stanford University (April 1985)

  4. Golub, Gene H., Heath and Grace Wahba. Generalized Cross-Validation as a Method for Choosing a Good Ridge Parameter. Technometrics, Vol. 21, No. 2 (May, 1979), pp. 215-223

免责声明:文章转载自《普通交叉验证(OCV)和广义交叉验证(GCV)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇有向图传递闭包生成MD5只有31位如何解决?下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

机器学习——正则化与交叉验证

0正则化 模型选择的典型方法是正则化。正则化是结构风险最小化策略的实现,是在经验风险上加一个正则化项或惩罚项。正则化一般是模型复杂度的单调递增函数,模型越越复杂,正则化的值就越大,比如,正则化项可以是模型参数向量的范数: 其中,第1项是经验风险,第二项是正则化项,a>=0为调整两者之间的关系函数。 正则化项可以取不同的形式。例如,回归问题中,损失函...

spark Pipeline,逻辑回归、svm等算法交叉验证

交叉验证应用与各种算法中,用于验证超参数的最优值。 常用的算法有逻辑回归、神经网络、ALS、SVM、决策树等。 Spark中采用是k折交叉验证 (k-fold cross validation)。举个例子,例如10折交叉验证(10-fold cross validation),将数据集分成10份,轮流将其中9份做训练1份做验证,10次的结果的均值作为对算法...

验证和交叉验证(Validation & Cross Validation)

之前在《训练集,验证集,测试集(以及为什么要使用验证集?)(Training Set, Validation Set, Test Set)》一文中已经提过对模型进行验证(评估)的几种方式。下面来回顾一下什么是模型验证的正确方式,并详细说说交叉验证的方法。 验证(Validation):把数据集随机分成训练集,验证集,测试集(互斥)。用训练集训练出模型,然后...

机器学习笔记——模型调参利器 GridSearchCV(网格搜索)参数的说明

GridSearchCV,它存在的意义就是自动调参,只要把参数输进去,就能给出最优化的结果和参数。但是这个方法适合于小数据集,一旦数据的量级上去了,很难得出结果。这个时候就是需要动脑筋了。数据量比较大的时候可以使用一个快速调优的方法——坐标下降。它其实是一种贪心算法:拿当前对模型影响最大的参数调优,直到最优化;再拿下一个影响最大的参数调优,如此下去,直到所...

机器学习模型评估方法(一)

机器学习中,将数据集划分为训练集、验证集、测试集。训练集构建模型,然后用模型计算测试数据集的测试误差,最后以测试集的测试误差近似为模型的泛化能力,根据泛化能力来评估模型的优劣。 本文首先引入数据集概率分布的概念,然后介绍模型评估方法。 1. 数据集的概率分布 总体样本服从某一分布P(X),数据集D是从总体样本中独立随机抽样m次获取的,数据集D = {(x1...

TensorFlow系列专题(二):机器学习基础

欢迎大家关注我们的网站和系列教程:http://www.tensorflownews.com/ ,学习更多的机器学习、深度学习的知识! 目录: 数据预处理 归一化 标准化 离散化 二值化 哑编码 特征工程 特征提取 特征选择 模型评估方法 留出法 交叉验证法 自助法 模型性能度量 正确率(accuracy)和错误率(error ra...