0正则化 模型选择的典型方法是正则化。正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项或惩罚项。正则化一般是模型复杂度的单调递增函数，模型越越复杂，正则化的值就越大，比如，正则化项可以是模型参数向量的范数： 其中，第1项是经验风险，第二项是正则化项，a>=0为调整两者之间的关系函数。 正则化项可以取不同的形式。例如，回归问题中，损失函...
论文名字：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 论文地址：https://arxiv.org/abs/1502.03167 BN被广泛应用于深度学习的各个地方，由于在实习过程中需要修改网络，修改的网络在训练过...
来自：https://mp.weixin.qq.com/s/CDMBQPgzcrjbZ_sX01q2hQ 在算法中使用正则化的目的是防止模型出现过拟合。 提到正则化，想到L1范数和L2范数。在这之前，先看LP范数是什么。 LP范数 范数简单理解为向量空间中的距离，距离定义很抽象，只要满足非负、自反、三角不等式就可以称之为距离。 LP范数不是一个范数，而是一...
十岁的小男孩 本文为终端移植的一个小章节。 目录 背景 结构剪枝 非结构剪枝 背景 网络剪枝和共享用于降低网络复杂度和解决过拟合问题。有一种早期应用的剪枝方法称为偏差权重衰减（Biased Weight Decay），其中最优脑损伤（Optimal Brain Damage）和最优脑手术（Optimal Brain Surgeon）方...
一、欠拟合 首先欠拟合就是模型没有很好的捕捉到数据特征，不能够很好的拟合数据，如下面的例子： 左图表示size和prize关系的数据，中间的图就是出现欠拟合的的模型，不能够很好的拟合数据，如果在中间的多项式上再加一个二项式，就可以很好的拟合数据了，如右图所示。 解决方法： 1、添加其它的特征项，有时候模型欠拟合是数...
1.正则化 正则化的主要作用是防止过拟合，对模型添加正则化项可以限制模型的复杂度，使得模型在复杂度和性能达到*衡。 常用的正则化方法有L1正则化和L2正则化。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。 L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归。但是使用正则...
1、介绍 Ridge 回归通过对系数的大小施加惩罚来解决 普通最小二乘法 的一些问题。 岭系数最小化的是带罚项的残差平方和， 其中，α≥0α≥0 是控制系数收缩量的复杂性参数： αα 的值越大，收缩量越大，这样系数对共线性的鲁棒性也更强。 2、参数 alpha：{float，array-like}...
特征工程：特征选择，特征表达和特征预处理。 1、特征选择 特征选择也被称为变量选择和属性选择，它能够自动地选择数据中目标问题最为相关的属性。是在模型构建时中选择相关特征子集的过程。 特征选择与降维不同。虽说这两种方法都是要减少数据集中的特征数量，但降维相当于对所有特征进行了重新组合，而特征选择仅仅是保留或丢弃某些特征，而不改变特征本身。 降维常...
YOLO v4分析 YOLO v4 的作者共有三位：Alexey Bochkovskiy、Chien-Yao Wang 和 Hong-Yuan Mark Liao。其中一作 Alexey Bochkovskiy 是位俄罗斯开发者，此前曾做出 YOLO 的 windows 版本。那么，YOLOv4 性能如何呢？ 在实际研究中,有很多特性可以提高卷积神经网络（...
最近课程作业让阅读了这篇经典的论文，写篇学习笔记。 主要是对论文前半部分Lasso思想的理解，后面实验以及参数估计部分没有怎么写，中间有错误希望能提醒一下，新手原谅一下。 1.整体思路 作者提出了一种收缩和选择方法Lasso，这是一种可以用于线性回归的新的估计方法。它具有子集选择和岭回归的各自的优点。像子集选择一样可以给出具有解释力的模型，又能像岭回归...