正则化过拟合与模型选择

更新：2026-10-13；状态：可用；验证范围：教材、原始研究或官方文档核对；概念与方法说明。

惩罚和模型选择控制复杂度，但所有选择都必须与最终评价分开。

为什么训练拟合好还不够

当特征多、样本少或反复筛选模型时，模型可能学到训练噪声。训练误差下降并不保证新样本误差下降。组学的数千特征和有限供体尤其容易出现这种问题。

岭回归加L2平方惩罚，LASSO加L1惩罚，elastic net结合两类项。惩罚强度、特征缩放、截距是否受惩罚及目标函数常数都会影响数值；不同软件的lambda不能只按名称直接对照。

收缩与选择

岭通常连续收缩系数，LASSO可以产生零系数，但入选特征对相关性和数据扰动可能不稳定。预测模型中的非零系数不自动是因果基因；正则化后的普通系数P值也不能照搬无选择OLS推断。

这涉及点估计偏差方差与一致性中的偏差与方差取舍。GS中的RR-BLUP与匹配GBLUP关系见GBLUP与rrBLUP原理及实现。

正确的模型选择路径

先划分外层评价；在训练范围内完成特征筛选、缩放、调参和算法选择。最终测试集只在模型冻结后使用。不同候选模型用同一外层划分，明确预测场景和基线。

重复偷看外层结果后继续优化，相当于把外层也用于选择；需要新的独立证据。独立验证不能由“多换几个随机种子直到分数好”替代。

接口与定义：scikit-learn线性模型指南及数据泄漏与交叉验证。本页没有执行LASSO或elastic net拟合。