正则化

什么是正则化

正则化时机器学习与深度学习中一种防止过拟合的方法,通俗来说:它是一种给模型加约束、惩罚复杂度的技术,帮助模型学到更加稳健,泛化能力更强的规律。

正则化的原理

正则化的主要原理是通过修改损失函数,在里面加一个惩罚项。
Pasted image 20250508200256.png

正则化可以帮助模型降低过拟合过拟合vs欠拟合#过拟合的风险,防止模型过度复杂而缺乏泛化能力。

常见的正则化方法

L1正则化
L2正则化
Dropout
Early stopping早停
kl散度