ridgeRegression - juedaiyuer/researchNote GitHub Wiki

#岭回归#

##线性回归遇到的问题##

在处理复杂的数据的回归问题时，普通的线性回归会遇到一些问题，主要表现在：

预测精度：这里要处理好这样一对为题，即样本的数量n和特征的数量p

  • n>>p时，最小二乘回归会有较小的方差
  • n~p 时，容易产生过拟合
  • n<p 时，最小二乘回归得不到有意义的结果

模型的解释能力：如果模型中的特征之间有相互关系，这样会增加模型的复杂程度，并且对整个模型的解释能力并没有提高，这时，我们就要进行特征选择。

modelVarianceBias.jpeg

方差指的是模型之间的差异，而偏差指的是模型预测值与数据之间的差异

##岭回归的概念##

##source##