1、岭回归（Ridge Regression）

标准线性回归（简单线性回归）中：

如果想用这个式子得到回归系数，就要保证(X^TX)是一个可逆矩阵。
下面的情景：如果特征的数据比样本点还要多，数据特征n,样本个数m，如果n>m,则计算(X^TX)−1会出错。因为(X^TX)不是满秩矩阵（行数小于列数），所有不可逆。
为了解决这个问题，统计学家引入了岭回归的概念：

λ为岭系数, I为单位矩阵（对角线上全为1，其他元素为0）。单位矩阵为满秩矩阵，乘以λ仍然为满秩矩阵。

岭回归的代价函数：

附：
正则化的代价函数：L2正则化（权值的平方）,

参数的平方求和乘以正则项系数λ
而Lasso回归对应的是L1正则化

其中
称为L2正则化项
在所有参数平方和前乘以了一个参数λ，把它叫正则化系数或者惩罚系数。这个惩罚系数是调节模型好坏的关键参数，我们通过两个极端的情况说明它是如何调节模型复杂度的。( 较大的λ值指定较强的正则化)

λ值为0：损失函数将与原来损失函数一样（即最小二乘估计形式），说明对参数权重θ没有任何惩罚。
λ为无穷大：在惩罚系数λ无穷大的情况下，为保证整个结构风险函数最小化，只能通过最小化所有权重系数θ达到目的了，即通过λ的惩罚降低了参数的权重值，而在降低参数权重值的同时我们就实现了降低模型复杂度的效果。
（1）由ℎ_θ(x)=θ_0+θ_1x_1+θ_2x_2+…+θ_nx_n，当θ_i很小的时候, x_i这个特征可以忽略不计。
（2）过拟合是由于模型过于复杂引起的。

岭回归最早是用来处理特征数多于样本数的情况，现在也用于在估计中加入偏差，从而得到更好的估计。同时也可以解决多重共线性问题，岭回归是一种有偏估计。
这里通过引入λ来限制了所有w之和，通过引入该惩罚项，能够减少不重要的参数，这个技术在统计学中也叫做缩减（shrinkage）。
岭回归的代价函数：

2.岭回归案例分析

Longley数据集
Longley数据集来自J．W．Longley（1967）发表在JASA上的一篇论文，是强共线性的宏观经济数据,包含GNP deflator(GNP平减指数)、GNP(国民生产总值)、Unemployed(失业率)、ArmedForces(武装力量)、Population(人口)、year(年份)，Emlpoyed(就业率)。
LongLey数据集因存在严重的多重共线性问题，在早期经常用来检验各种算法或计算机

class sklearn.linear_model.RidgeCV (
alphas=(0.1, 1.0, 10.0),
fit_intercept=True,
normalize=False,
scoring=None,
cv=None,
gcv_mode=None,
store_cv_values=False
)
注：留一法就是每次只留下一个样本做测试集，其它样本做训练集，如果有k个样本，则需要训练k次，测试k次。
留一法计算最繁琐，但样本利用率最高。适合于小样本的情况

3.Lasso回归

LASSO是由1996年Robert Tibshirani首次提出，全称Least absolute shrinkage and selection operator。
通过构造一个一阶惩罚函数获得一个精炼的模型;通过最终确定一些指标（变量）的系数为零，解释力很强。(相比较于岭回归。岭回归估计系数等于0的机会微乎其微，造成筛选变量困难)
擅长处理具有多重共线性的数据，与岭回归一样是有偏估计。