L1范数正则化

正则化方法小结

来自:https://mp.weixin.qq.com/s/CDMBQPgzcrjbZ_sX01q2hQ 在算法中使用正则化的目的是防止模型出现过拟合。 提到正则化,想到L1范数和L2范数。在这之前,先看LP范数是什么。 LP范数 范数简单理解为向量空间中的距离,距离定义很抽象,只要满足非负、自反、三角不等式就可以称之为距离。 LP范数不是一个范数,而是一...

L1与L2正则化

1.正则化 正则化的主要作用是防止过拟合,对模型添加正则化项可以限制模型的复杂度,使得模型在复杂度和性能达到*衡。 常用的正则化方法有L1正则化和L2正则化。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。 L1正则化的模型建叫做Lasso回归,使用L2正则化的模型叫做Ridge回归(岭回归。但是使用正则...