一. 线性回归(linear regression)

线性回归是属于监督学习范畴内的。我们在此先简单的介绍下监督学习.
监督学习(Supervised Learning):
假如我们有n组数据，每组数据有对应的$p+1$个变量.我们现在要预测其中一个变量，利用剩余的p个变量.如下图:

该图中，我们的n就是行，这里有20行，即为20个人，所以n组数据为n个个体。每个个体都有自己对应的具体变量值：Pt(相当于ID)， BP(血压)，Age(年纪)，Weight(体重), 等等.
假如我们的任务是预测BP血压这个变量，那么我们就要用剩下的变量即Age，Weight等等的数据来预测这个BP血压这个变量的具体数值。

如果我们要预测的这个变量是分类数据(categorical)，那么我们预测方法为分类
:例如簇，判断是否为男生或女生.

如果我们要预测的这个变量是数值数据(numerical),那么我们要用回归(regression)：
例如线性回归，预测房价.

正如小弟第一章所述，监督学习，相当于有一份标准答案，假如我们预测BP血压，我们利用我们预测的血压值和标准答案的血压值进行比对，从而估计出参数，使我们的预测值更准确。还记得第三章的MSE么，如果我们估计的参数偏差过小，那么我们的模型很有可能饱和估计，也就是说我们的模型这能预测我们给定的这堆数据(训练数据)里的BP，如果我们估计的参数偏差过大，那模型可能是非饱和估计，我们的模型连我们给定的这推数据(训练数据)里的BP都预测不了.

我们言归正传，来介绍下监督学习的写法:
假如我们的预测变量$y_i$和我们的变量$x_{i,1},x_{i,2},x_{i,3},...,x_{i,p}$有关系，即i∈(1,n)
那么：
$$y_i=f(x_{i,1},x_{i,2},x_{i,3},...,x_{i,p})$$
我们这里的$f(\cdot )$即为我们的预测${\bar{y}}_i$,显然我们的预测${\bar{y}}_i$肯定不会和真值$y_i$一模一样，所以在$f(\cdot )$里会有一个 ${\epsilon }_i$即为误差(error)。

简单线性回归(simple linear regression)
线性模型是属于监督学习，在这里我们认为$f(\cdot )$为线性的，即为:
$$Y={\beta }_0+{\beta }_1{x}_1+....+{\beta }_p{x}_p+\epsilon$$
当然了根据上述，假如我们有n组数据，i∈(1,n)，你也可以写成:
$$Y_i={\beta }_0+{\beta }_1{x}_{i,1}+....+{\beta }_p{x}_{i,p}+{\epsilon }_i$$
当p=1时，为简单的线性回归(simple linear regression)，当p>1时，为多元线性回归(multiple linear regression).这公式翻译过来的意思为，基于独立变量$x_1,..,x_p$关于$Y$的回归.${\beta }_0,{\beta }_1,..,{\beta }_p$为回归系数(regression coefficients)

我们一般会假设$\epsilon$即随机误差(random error)的均值/期望为0，那么也可以写成：
$$E[Y|x]=\bar{Y}={\beta }_0+{\beta }_1{x}_1+....+{\beta }_p{x}_p$$
$E[Y|x]$意味着，基于x，Y的期望,即我们的预测
当然你也可以写成这样:
$$E[Y_i|x_{i,1},..x_{i,p}]={\bar{y}}_i={\beta }_0+{\beta }_1{x}_{i,1}+....+{\beta }_p{x}_{i,p}$$

线性模型是统计里很重要的模型，因为线性模型具有这么三个优点:
1.线性模型具有很高的解释性，例如$y=-3x_1+2x_2$,y为房价，x1为噪音音呗，x2为附近的商场数量，那么随着噪音的增大y房价会减少，但随着商场数量增多，房价还会提高.
2.线性模型很灵活，它甚至可以处理非线性的变量关系。例如我们可以把logx当成一个变量，而不是把x当成一个变量，这样可以把非线性转换为线性。
3.线性模型即使有大量的变量，计算机计算估计参数也会很快。这一点小弟深有体会，小弟当时做了一个卷积层神经网络来分类垃圾，参数很多，调参，估计参数，一上午就没了（计算机算了一上午）。而线性模型估计参数则会很快。

那么如何判断我们的模型预测是好是坏呢？我们通过预测误差(predication error).
$$e_i={\bar{y}}_i-y_i$$
对没错，这里的$e_i$和我们上述的${\epsilon }_i$是一个意思，只是写法不同罢了。这也称为残差(residual error).那么，如果有n组数据，那么对应的会有n组$y_i$,那么它的总共的残差平方和为:
$$RSS=\sum _{i=1}^n{e}_i^2$$
这也被称为残差平方和(residual sum-pf-squared errors)
残差平方和越小，那说明我们的模型越能诠释我们的数据，能诠释我们的Y与剩下$x_1,...x_p$变量的关系。至于为什么用平方和的形式，请看第三章估计的均方误差(mean squared error,简写MSE)，大同小异。

对于简单的线性模型来说,那我们可以利用上述这个特点，来估计我们的回归系数即参数，即:
( β ˉ 0 , β ˉ 1 ) = m i n { R S S } = a r g m i n β o , β 1 { ∑ i = 1 n ( y i − β 0 − β 1 x i ) 2 } (\bar \beta_0,\bar \beta_1)=min\{RSS\}=arg min_{\beta_o,\beta_1}\{\sum_{i=1}^{n}(y_i-\beta_0-\beta_1x_i)^2\} (βˉ​0​,βˉ​1​)=min{RSS}=argminβo​,β1​​{i=1∑n​(yi​−β0​−β1​xi​)2}
这就是最小二乘法估计(LS estimates)
那么:
$$\frac{\partial RSS({\beta }_0,{\beta }_1)}{\partial {\beta }_0}=-2\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i)=0$$
$$\frac{\partial RSS({\beta }_0,{\beta }_1)}{\partial {\beta }_1}=-2\sum _{i=1}^n{x}_i(y_i-{\beta }_0-{\beta }_1{x}_i)=0$$
得:
$${\bar{\beta }}_0=\frac{({\sum }_{i=1}^n{y}_i)({\sum }_{i=1}^n{x}_i^2)-({\sum }_{i=1}^n{y}_i{x}_i)({\sum }_{i=1}^n{x}_i)}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}$$
$${\bar{\beta }}_1=(\sum _{i=1}^n{y}_i{x}_i-{\bar{\beta }}_0\sum _{i=1}^n{x}_i)/\sum _{i=1}^n{x}_i^2$$
当然了，你也可以先算${\bar{\beta }}_1$,后算${\bar{\beta }}_0$,均一样，得:
$${\bar{\beta }}_1=(\sum _{i=1}^n{x}_i{Y}_i-\bar{x}\sum _{i=1}^n{Y}_i)/(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2)$$
$${\bar{\beta }}_0=\sum _{i=1}^n\frac{Y_i}{n}-{\bar{\beta }}_1\bar{x}$$
上述的$\bar{x}$为均值。

那么我们的估计的简单线性回归为:
$${\bar{y}}_i={\bar{\beta }}_0+{\bar{\beta }}_1{x}_i$$
残差为:
$$e_i=y_i-{\bar{y}}_i$$
根据最小二乘法，拟合出来的简单线性回归有这么个特殊性质，即:
$$\sum _{i=1}^n{e}_i=0,corr(x,e)=0$$
这里的$x=(x_1,x_2,....,x_n)$,$e=(e_1,e_2,...,e_n)$,也就是说由最小二乘法拟合出来的该简单线性回归的残差均值/期望为0，并且残差与我们的变量x无关.
这部分的推导很简单，利用公式$\frac{\partial RSS({\beta }_0,{\beta }_1)}{\partial {\beta }_0}$因为：
$$-2\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i)=-2\sum _{i=1}^n{e}_i=0$$
所以简单线性回归的残差均值/期望为0，其实多元线性回归也是残差均值/期望=0(小弟先在这提一下)，小弟的意思就是想说这也就是为什么每次讨论线性回归的时候，我们总假设残差或者误差($e_i={\epsilon }_i$这俩写法指的是一个意思就是误差)的均值为0。
还记得$cov(X,Y)=E[XY]-E[X]E[Y]$么，同理$cov(x,e)=E[Xe]-E[X]E[e]$,因为E[e]=0,又因为$E[Xe]=\frac{{\sum }_{i=1}^n{x}_i{e}_i}{n}$,我们再利用公式$\frac{\partial RSS({\beta }_0,{\beta }_1)}{\partial {\beta }_1}$知道${\sum }_{i=1}^n{x}_i{e}_i=0$，所以$cov(x,e)=E[Xe]-E[X]E[e]=0-0=0$,所以$corr(x,e)=0$.

简单线性回归和正态分布(simple linear regression and normal distribution)
可能有的同学会问“我们明白残差均值/期望为0,因为$\frac{\sum e_i}{n}=0$，那么残差是否有方差呢？”对没错，我们其实本质一般会令我们的残差/误差$e_i～N(0,{\sigma }^2)$，${\sigma }^2$是未知的，那么我们的简单线性回归可以写成:
$$Y_i～N({\beta }_0+{\beta }_1{x}_i,{\sigma }^2)$$

这写法很巧妙！！！小弟上学时特别喜欢简单线性回归能写成这样，为什么。因为它将概率和简单线性回归相融合，并且这样的写法基本上不违反小弟上述所说所有简单线性回归的知识点。举个例子，$E[Y_i]={\beta }_0+{\beta }_1{x}_i$它诠释了上述的$E[Y_i|x_{i,1}]={\bar{Y}}_i={\beta }_0+{\beta }_1{x}_{i,1}$。因为我们的预测${\bar{Y}}_i$和真值$Y_i$肯定会有误差$e_i$,那么$Y_i={\bar{Y}}_i+e_i$, ${\bar{Y}}_i～N({\beta }_0+{\beta }_1{x}_i,{\sigma }_u^2<0.00001),e_i～N(0,{\sigma }^2)$那么$Y_i～N({\bar{\beta }}_0+{\bar{\beta }}_1{x}_i,{\sigma }^2={\sigma }^2+{\sigma }_u^2)$。

${\bar{Y}}_i～N({\beta }_0+{\beta }_1{x}_i,{\sigma }_u^2<0.00001)$的意思也很巧妙，为什么，我们都知道正态分布以均值对称往外加减多少个标准差，${\sigma }_u^2<0.00001$意味着标准差极小，则该正态分布两边快速下降收敛，那么${\bar{Y}}_i={\beta }_0+{\beta }_1{x}_i$的概率几乎100%，这不就是我们的预测么。

最小二乘法的无偏性
现在我们来利用上述的$Y_i～N({\beta }_0+{\beta }_1{x}_i,{\sigma }^2)$写法的简单线性回归来证明我们最小二乘法的无偏性和计算对应${\bar{\beta }}_0,{\bar{\beta }}_1$的方差。还记得小弟写的第三章内容里的MSE，对，我们来计算估计参数的期望和方差从而得到它的MSE。
通过最小二乘得到的${\bar{\beta }}_1=({\sum }_{i=1}^n{x}_i{Y}_i-\bar{x}{\sum }_{i=1}^n{Y}_i)/({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)$
那么:
$$E[{\bar{\beta }}_1]=\sum _{i=1}^n(x_i-\bar{x})E[Y_i]/(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2)=\sum _{i=1}^n(x_i-\bar{x})({\beta }_0+{\beta }_1{x}_i)/(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2)=\frac{{\beta }_0\sum (x_i-\bar{x})+{\beta }_1\sum x_i(x_i-\bar{x})}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}$$
因为$\sum (x_i-\bar{x})=0$,继续化简得:
$$E[{\bar{\beta }}_1]={\beta }_1$$
我们发现最小二乘法估计${\beta }_1$是无偏估计.接下来我们计算它的方差:
$$Var({\bar{\beta }}_1)=\sum _{i=1}^n(x_i-\bar{x}{)}^{2}V[Y_i]/(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2{)}^2={\sigma }^2\sum _{i=1}^n(x_i-\bar{x}{)}^2/(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2{)}^2={\sigma }^2/(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2)$$
那么：
$$MS{E}_{{\beta }_1}({\bar{\beta }}_1)=0^2+{\sigma }^2/(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2)$$

现在同理计算${\bar{\beta }}_0$的期望和方差,下述公式$\bar{x}$为均值
$$E[{\bar{\beta }}_0]=E[\sum _{i=1}^n\frac{Y_i}{n}-{\bar{\beta }}_1\bar{x}]=\sum _{i=1}^n\frac{E[Y_i]}{n}-E[{\bar{\beta }}_1]\bar{x}=\sum _{i=1}^n\frac{{\beta }_0+{\beta }_1{x}_i}{n}-{\beta }_1\bar{x}={\beta }_0+{\beta }_1\bar{x}-{\beta }_1\bar{x}={\beta }_0$$
我们发现最小二乘法估计${\beta }_0$是无偏估计.接下来我们计算它的方差:
$$Var({\bar{\beta }}_0)=\frac{{\sigma }^2{\sum }_{i=1}^n{x}_i^2}{n({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}$$
那么：
$$MS{E}_{{\beta }_0}({\bar{\beta }}_0)=0^2+\frac{{\sigma }^2{\sum }_{i=1}^n{x}_i^2}{n({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}$$

那么我们用最小二乘法得到的${\bar{\beta }}_0,{\bar{\beta }}_1$也会服从正态分布，将上述的分别计算对应的期望和方差放入正态分布即可，得:
$${\bar{\beta }}_1～N({\beta }_1,{\sigma }^2/(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2))$$
$${\bar{\beta }}_0～N({\beta }_0,\frac{{\sigma }^2{\sum }_{i=1}^n{x}_i^2}{n({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)})$$

最小二乘法和似然估计
正如小弟在第三章末尾所说，最小二乘法跟似然估计很像，均是为了追求无偏性，而增加了方差。也就是说，在给定的数据里这样得到的拟合模型准确度是很高的，但在未知数据里即预测方面，因为方差很大所以它的预测变化很大，是我们对于预测没有很大信心。那么有的同学会问:“似然估计可以用在线性回归上么”，对没错，是可以的，在线性回归上，最小二乘法其实就是似然估计。

我们依然用:
残差/误差$e_i～N(0,{\sigma }^2)$，${\sigma }^2$是未知的
$$Y_i～N({\beta }_0+{\beta }_1{x}_i,{\sigma }^2)$$

那么我们计算似然得:
$${\Pi }_{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }exp(-(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2/2{\sigma }^2)=\frac{1}{(2\pi {)}^{\frac{n}{2}}{\sigma }^2}exp(-\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2/2{\sigma }^2)$$
得：
$$L(y|{\beta }_0,{\beta }_1,{\sigma }^2)=\frac{n}{2}log(2\pi {\sigma }^2)+\frac{RSS({\beta }_0,{\beta }_1)}{2{\sigma }^2}$$
我们可以清楚得看到，要计算最大似然估计依然需要计算 m i n { ∑ i = 1 n ( y i − β 0 − β 1 x i ) 2 } min\{\sum_{i=1}^{n}(y_i-\beta_0-\beta_1x_i)^2\} min{∑i=1n​(yi​−β0​−β1​xi​)2}，这不就是最小二乘法么,所以说最小二乘法和似然估计在估计线性回归的系数方面上计算方法是一样的。

残差的方差估计
现在还剩下一个问题，当残差/误差$e_i～N(0,{\sigma }^2)$,估计未知的${\sigma }^2$,即我们现在来尝试着估计它.
因为我们知道:
$$RSS=\sum _{i=1}^n(y_i-{\bar{\beta }}_0-{\bar{\beta }}_1{x}_i{)}^2$$
那么:
$$\frac{RSS}{{\sigma }^2}～{\chi }_{n-2}^2$$
可能大家会有疑问为什么$\frac{RSS}{{\sigma }^2}$服从n-2个自由度的卡方.
首先卡方分布小弟就不带大家回顾了，大家可以上网查，或者看小弟第三章内容里卡方分布(chi-square)和第四章内容里置信区间和总体方差(CI & variance)有关卡方的应用.

证明$\frac{RSS}{{\sigma }^2}～{\chi }_{n-2}^2$：
因为$Y_i$是正态随机变量，那么
$$\frac{Y_i-E[Y_i]}{\sqrt{V[Y_i]}}～N(0,1)$$
为标准正态随机变量.
那么根据卡方分布定义，得:
$$\sum _{i=1}^n\frac{(Y_i-E[Y_i]{)}^2}{V[Y_i]}=\sum _{i=1}^n\frac{(Y_i-{\beta }_0-{\beta }_1{x}_i{)}^2}{{\sigma }^2}～{\chi }_n^2$$

再根据我们上述知道的${\bar{\beta }}_0,{\bar{\beta }}_1$服从的正态分布，得
$$({\bar{\beta }}_1-{\beta }_1{)}^2(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2)/{\sigma }^2～{\chi }_1^2$$
$$({\bar{\beta }}_0-{\beta }_0{)}^2(n(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2))/({\sigma }^2\sum _{i=1}^n{x}_i^2)～{\chi }_1^2$$
可得:
$$\frac{RSS}{{\sigma }^2}=\sum _{i=1}^n\frac{(Y_i-{\beta }_0-{\beta }_1{x}_i{)}^2}{{\sigma }^2}-({\bar{\beta }}_1-{\beta }_1{)}^2(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2)/{\sigma }^2-({\bar{\beta }}_0-{\beta }_0{)}^2(n(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2))/({\sigma }^2\sum _{i=1}^n{x}_i^2)～{\chi }_n^2-{\chi }_1^2-{\chi }_1^2={\chi }_{n-2}^2$$
是不是很头疼，实不相瞒，小弟看到这公式也想吐，上学期间老师说了个类比的方式(也可以说是一种背诵小技巧)，在此也分享给大家有助于大家理解和记忆。
大家是否还记的
$$\frac{\sum (y_i-\mu {)}^2}{{\sigma }^2}=\frac{\sum (y_i-\bar{y}{)}^2}{{\sigma }^2}+\frac{n(\bar{y}-\mu {)}^2}{{\sigma }^2}～{\chi }_n^2={\chi }_{n-1}^2+{\chi }_1^2$$（具体原因请看小弟第三章内容里卡方分布(chi-square)和第四章内容里置信区间和总体方差(CI & variance)有关卡方的应用.）我们会发现有多少个估计参数，那就在原真参数的公式下减多少个自由度，前提是$y_i$服从正态分布！！！
那么回到$\frac{RSS}{{\sigma }^2}$,因为有两个估计参数${\bar{\beta }}_0,{\bar{\beta }}_1$需要减去，那么则需要减去两个自由度即n-2个自由度。对没错，可能有的同学想到了，如果是多元线性回归，我们有p个随机变量对应有p个系数参数(${\beta }_1,...,{\beta }_p$)，那么就要减去p+1个自由度了(因为我们还有个${\beta }_0$)即n-p-1个自由度。这个说法有点野路子，但没错过。有点像高考数学填空题记个套路，算的快点。另外有的同学会说如果p>=n呢，那岂不0个或负个自由度？？这问题小弟还真没细想过，但一般来说参数的数量p是远远小于数据量(训练数据量)n的。你有见过30000个训练数据量模型有30000个参数么，小弟只有在神经网络上面有见过类似的还没有那么多参数，这还是饱和模型的情况下，因为当参数量过大，模型会饱和预测即对于未知预测表现差，但那恐怕也不是在线性回归模型上吧，况且那里的$y_i$还是个矩阵，跟我们现在讲的$y_i$不是一回事，更不会服从正态分布吧。

现在回归正题，那么:
$$E[\frac{RSS}{{\sigma }^2}]=n-2$$
我们也可以写成:
$$E[\frac{RSS}{n-2}]={\sigma }^2$$
我们会发现$\frac{RSS}{n-2}$是无偏估计${\sigma }^2$

简单线性回归的假设检验和置信区间:
正如第五章所述，假设检验和置信区间已经被统一了，什么意思，就是95%置信区间，以外的在假设检验里面被称为阈值，如果p值大于阈值则原假设成立。

${\beta }_1$的假设检验和置信区间
很多情况下，我们在做假设检验的时候经常写成：
$$H_0:{\beta }_1=0,vs{H}_1:{\beta }_1\ne 0$$
小弟以这个假设检验做例子是因为，大部分得时候我们想判断下是否存在${\beta }_1$

那么根据我们先前计算的:
$${\bar{\beta }}_1～N({\beta }_1,{\sigma }^2/(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2))$$
那么:
$$({\bar{\beta }}_1-{\beta }_1)/\sqrt{{\sigma }^2/(\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2)}～N(0,1)$$
又因为:
$$\frac{RSS}{{\sigma }^2}～{\chi }_{n-2}^2$$

我们可得；
$$\frac{({\bar{\beta }}_1-{\beta }_1)/\sqrt{{\sigma }^2/({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}{\sqrt{\frac{RSS}{{\sigma }^2(n-2)}}}～t_{n-2}$$
至于为什么为n-2自由度的t分布，请看数据分析模型 第四章，t分布。
我们现在有了对应的分布，那么做假设检验和置信区间便容易多了。

假设原假设成立${\beta }_1=0$，那么：
$$v=\frac{({\bar{\beta }}_1)/\sqrt{{\sigma }^2/({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}{\sqrt{\frac{RSS}{{\sigma }^2(n-2)}}}～t_{n-2}$$
那么计算p值:
p = 2 P { T n − 2 > v } p=2P\{T_{n-2}>v\} p=2P{Tn−2​>v}

我们是不是算置信区间也容易了，即:
P { − t α / 2 , n − 2 < ( β ˉ 1 − β 1 ) / σ 2 / ( ∑ i = 1 n x i 2 − n x ˉ 2 ) R S S n − 2 < − t α / 2 , n − 2 } = 1 − α P\{-t_{\alpha/2,n-2}<\frac{(\bar\beta_1-\beta_1)/\sqrt{\sigma^2/(\sum_{i=1}^{n}x^2_i-n\bar x^2)}}{\frac{RSS}{n-2}}<-t_{\alpha/2,n-2}\}=1-\alpha P{−tα/2,n−2​<n−2RSS​(βˉ​1​−β1​)/σ2/(∑i=1n​xi2​−nxˉ2) ​​<−tα/2,n−2​}=1−α
得：
$$({\bar{\beta }}_1-\sqrt{\frac{RSS}{(n-2)({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}{t}_{\alpha /2,n-2}<{\beta }_1<{\bar{\beta }}_1+\sqrt{\frac{RSS}{(n-2)({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}{t}_{\alpha /2,n-2})$$

以上是关于${\beta }_1$的假设检验和置信区间，

${\beta }_0$的假设检验和置信区间
真的大同小异，但小弟知道大家都很懒，所以小弟还是多写几笔。

那么根据我们先前计算的:
$${\bar{\beta }}_0～N({\beta }_0,\frac{{\sigma }^2{\sum }_{i=1}^n{x}_i^2}{n({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)})$$
那么:
$$({\bar{\beta }}_0-{\beta }_0)/\sqrt{\frac{{\sigma }^2{\sum }_{i=1}^n{x}_i^2}{n({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}～N(0,1)$$
又因为:
$$\frac{RSS}{{\sigma }^2}～{\chi }_{n-2}^2$$
同理与关于上述${\beta }_1$的计算我们可得：
$$\sqrt{\frac{n(n-2)({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}{{\sum }_{i=1}^n{x}_i^{2}RSS}}({\bar{\beta }}_0-{\beta }_0)～t_{n-2}$$
如果是假设检验，我们就假设原假设成立将${\beta }_0$具体值带入,然后计算p值
如果是置信区间则:
$${\bar{\beta }}_0\pm \sqrt{\frac{{\sum }_{i=1}^n{x}_i^{2}RSS}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)n(n-2)}}{t}_{\alpha /2,n-2}$$

${\beta }_0+{\beta }_1{x}_0$的置信区间
这里的$x_0$是未来的数据，我们要利用置信区间来判断预测值的范围。
我们最早不是利用最小二乘法估计出${\bar{\beta }}_0,{\bar{\beta }}_1$么？即:
$${\bar{\beta }}_1=\frac{1}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}(\sum _{i=1}^n{x}_i{Y}_i-\bar{x}\sum _{i=1}^n{Y}_i)$$
$${\bar{\beta }}_0=\sum _{i=1}^n\frac{Y_i}{n}-{\bar{\beta }}_1\bar{x}$$
这里的$\bar{x}$为xi均值

那么我可以得到:
$${\bar{\beta }}_0+\bar{\beta }{x}_0=\sum _{i=1}^n{Y}_i[\frac{1}{n}-\frac{1}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}(x_i-\bar{x})(\bar{x}-x_0)]$$
那么:
$$V[{\bar{\beta }}_0+\bar{\beta }{x}_0]=\sum _{i=1}^n[\frac{1}{n}-\frac{1}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}(x_i-\bar{x})(\bar{x}-x_0){]}^{2}V[Y_i]$$
因为$Y_i～N({\beta }_0+{\beta }_1{x}_i,{\sigma }^2)$,$V[Y_i]={\sigma }^2$

那么化简后:
$$V[{\bar{\beta }}_0+\bar{\beta }{x}_0]={\sigma }^2[\frac{1}{n}+\frac{(\bar{x}-x_0{)}^2}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}]$$

接下来我们又要做同样操作了:
$${\bar{\beta }}_0+{\bar{\beta }}_1{x}_0～N({\beta }_0+{\beta }_1{x}_0,V[{\bar{\beta }}_0+\bar{\beta }{x}_0]={\sigma }^2[\frac{1}{n}+\frac{(\bar{x}-x_0{)}^2}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}])$$

又因为:
$$\frac{RSS}{{\sigma }^2}～{\chi }_{n-2}^2$$

那么：
$$[{\bar{\beta }}_0+{\bar{\beta }}_1{x}_0-({\beta }_0+{\beta }_1{x}_0)]/[\sqrt{\frac{1}{n}+\frac{(\bar{x}-x_0{)}^2}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}\sqrt{\frac{RSS}{n-2}}]～t_{n-2}$$
小弟相信大家明白为什么服从n-2自由度的t分布！！
那么我便得到了${\beta }_0+{\beta }_1{x}_0$的置信区间，即:
$${\bar{\beta }}_0+{\bar{\beta }}_1{x}_0\pm \sqrt{\frac{1}{n}+\frac{(\bar{x}-x_0{)}^2}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}\sqrt{\frac{RSS}{n-2}}{t}_{\alpha /2,n-2}$$

但是有的同学会问，虽然我们利用最小二乘法估计，计算 m i n { R S S } min\{RSS\} min{RSS}，但怎么着也不可能RSS=0，也就是说在怎么模型的拟合度高，也会有误差$\epsilon$。对，没错，我们一般会用$Y(x_0)={\beta }_0+{\beta }_1{x}_0+\epsilon$来计算基于未来数据的预测的置信区间

$Y(x_0)={\beta }_0+{\beta }_1{x}_0+\epsilon$来计算基于未来数据的预测的置信区间

因为:
$$Y=Y(x_0)～N({\beta }_0+{\beta }_1{x}_0,{\sigma }^2)$$
又因为:
$${\bar{\beta }}_0+{\bar{\beta }}_1{x}_0～N({\beta }_0+{\beta }_1{x}_0,V[{\bar{\beta }}_0+\bar{\beta }{x}_0]={\sigma }^2[\frac{1}{n}+\frac{(\bar{x}-x_0{)}^2}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}])$$

所以:
$$Y-{\bar{\beta }}_0-{\bar{\beta }}_1{x}_0～N(0,{\sigma }^2[1+\frac{1}{n}+\frac{(\bar{x}-x_0{)}^2}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}])$$
即:
$$\frac{Y-{\bar{\beta }}_0-{\bar{\beta }}_1{x}_0}{\sigma \sqrt{\frac{n+1}{n}+\frac{(x_0-\bar{x}{)}^2}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}}～N(0,1)$$

又来了，同样的操作:
$$\frac{RSS}{{\sigma }^2}～{\chi }_{n-2}^2$$
那么:
$$(Y-{\bar{\beta }}_0-{\bar{\beta }}_1{x}_0)/[\sqrt{\frac{n+1}{n}+\frac{(x_0-\bar{x}{)}^2}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}\sqrt{\frac{RSS}{n-2}}]～t_{n-2}$$

置信区间:
$${\bar{\beta }}_0+{\bar{\beta }}_1{x}_0\pm \sqrt{\frac{n+1}{n}+\frac{(x_0-\bar{x}{)}^2}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}\sqrt{\frac{RSS}{n-2}}{t}_{\alpha /2,n-2}$$

我知道，看到这，如果大家没发现小弟上述的推导有一定的规律的话，可能大家会觉得世界很沧桑，为什么要学数学。

真的它不难，只是繁琐，上述所有推导的本质都来源于线性回归和正态分布的结合即$Y_i～N({\beta }_0+{\beta }_1{x}_i,{\sigma }^2)$，和我们对于估计${\sigma }^2$时，得到的$\frac{RSS}{{\sigma }^2}～{\chi }_{n-2}^2$,从而找到对应得分布，又因为置信区间和假设检验已经被前人统一，那么无论是计算置信区间和p值均很容易。
小弟在此写个汇总给大家吧。

简单线性模型和分布的汇总
模型：$Y={\beta }_0+{\beta }_{1}x+e$,$e～N(0,{\sigma }^2)$
数据(x_i,Y_i), i=1,2,3,…,n

关于谁的推论	涉及的分布
${\beta }_1$	$\frac{({\bar{\beta }}_1-{\beta }_1)/\sqrt{{\sigma }^2/({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}{\sqrt{\frac{RSS}{{\sigma }^2(n-2)}}}～t_{n-2}$
${\beta }_0$	$\sqrt{\frac{n(n-2)({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}{{\sum }_{i=1}^n{x}_i^{2}RSS}}({\bar{\beta }}_0-{\beta }_0)～t_{n-2}$
${\beta }_0+{\beta }_1{x}_0$	$[{\bar{\beta }}_0+{\bar{\beta }}_1{x}_0-({\beta }_0+{\beta }_1{x}_0)]/[\sqrt{\frac{1}{n}+\frac{(\bar{x}-x_0{)}^2}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}\sqrt{\frac{RSS}{n-2}}]～t_{n-2}$
$Y(x_0)$	$(Y-{\bar{\beta }}_0-{\bar{\beta }}_1{x}_0)/[\sqrt{\frac{n+1}{n}+\frac{(x_0-\bar{x}{)}^2}{({\sum }_{i=1}^n{x}_i^2-n{\bar{x}}^2)}}\sqrt{\frac{RSS}{n-2}}]～t_{n-2}$

*$x_0$为未来数据

大家有没有发现，简单线性模型和n-2自由度的t分布有关，那么多元线性模型呢？对没错和n-p-1个自由度的t 分布有关。为什么，因为它们的本质没有变化，只是计算结果发生了变化，多元线性模型我们可以写成$Y_i～N({\beta }_0+{\beta }_1{x}_{i,1}+,....,+{\beta }_p{x}_{i,p},{\sigma }^2)$，残差也服从$N(0,{\sigma }^2)$，它的$$\frac{RSS}{{\sigma }^2}～{\chi }_{n-p-1}^2$剩下的所有推论方法跟简单线性模型的所有推论均一样，只是计算结果不一样罢了。

其实，上学期间，这推论也只能最多在平常作业里算着玩的，在考试的时候，没有老师那么变态要计算这个吧，应该会给一些推论的表格的。平常我们在用excel，或者matlab，R，只要一给模型，一给数据，在来个summary(),啪，什么t-统计答案乱七八糟的，计算机帮我们算好了，我们读结果做题就行了。考试考这个计算就没多大意思了。但小弟还是写了，为了满足初学者对所有细节刨根问底的需求。

加权最小二乘法（weighted least squares）
小弟讲下自己对于权值的理解，大家有见过某些同学跑步腿上绑铁块耍帅的吧，嗯没错权值就是负重。像神经网络里的权值，深度学习里注意力机制的权值，它们都代表着希望提高或者相对降低被负重的对象在计算中的影响力。

一般最小二乘法将时间序列中的各项数据的重要性同等看待，而事实上时间序列各项数据对未来的影响作用应是不同的。一般来说，近期数据比起远期数据对未来的影响更大。因此比较合理的方法就是使用加权的方法，对近期数据赋以较大的权数，对远期数据则赋以较小的权数。加权最小二乘法采用指数权数$W^{n-i},(0<W<1)i=1,2,3,4,...,n$，W的具体取值根据你数据分析后，自己定的。
那么我们的RSS加权后为:
$$RS{S}_{weight}=\sum _{i=1}^n{W}^{n-i}(y_i-{\bar{y}}_i{)}^2$$

那么根据我们的简单线性回归，得:
$$RS{S}_{weight}=\sum _{i=1}^n{W}^{n-i}(y_i-{\bar{y}}_i{)}^2=RS{S}_{weight}=\sum _{i=1}^n{W}^{n-i}(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2$$

同理求${\beta }_0,{\beta }_1$偏导后:
$$\sum W^{n-1}{y}_i={\bar{\beta }}_0\sum W^{n-i}+{\bar{\beta }}_1\sum W^{n-1}{x}_i$$

$$\sum W^{n-1}{x}_i{y}_i={\bar{\beta }}_0\sum W^{n-i}{x}_i+{\bar{\beta }}_1\sum W^{n-i}{x}_i^2$$

那么根据上述我们可以无偏估计得到${\bar{\beta }}_0,{\bar{\beta }}_1$，解方程组即可。

根据$RS{S}_{weight}={\sum }_{i=1}^n{W}^{n-i}(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2$,我们知道我们的简单线性回归应该写成:
$$Y_i\sqrt{W^{n-i}}={\beta }_0\sqrt{W^{n-i}}+{\beta }_1\sqrt{W^{n-i}}+e\sqrt{W^{n-i}}$$

所以我们也能写成正态分布的形式:
$$Y_i\sqrt{W^{n-i}}～N({\beta }_0\sqrt{W^{n-i}}+{\beta }_1\sqrt{W^{n-i}},{\sigma }^2{W}^{n-i})$$
这个方差来自，因为$e_i～N(0,1)$,所以$e_i\sqrt{W^{n-i}}～N(0,{\sigma }^2{W}^{n-i})$.

多元线性回归(multiple linear regression)
终于讲到了多元线性回归了。小弟耗费了大量笔墨在简单线性回归上面，想必大家对简单线性回归有了基本的了解，那理解多元线性回归就简单多了。
再重申一点，参数的数量p是远远小于数据量(训练数据量)n的，那么我利用最小二乘法估计多元线性回归的参数，即:
( β ˉ 0 , β ˉ 1 , . . . . , β ˉ p ) = m i n { R S S ( β 0 , β 1 , . . . . , β p ) } = a r g m i n β 0 , β 1 , . . . . , β p { ∑ i = 1 n ( y i − β 0 − ∑ j = 1 p β j x i , j ) 2 } (\bar \beta_0,\bar \beta_1,....,\bar\beta_p)=min\{RSS(\beta_0,\beta_1,....,\beta_p)\}=arg min_{\beta_0,\beta_1,....,\beta_p}\{\sum_{i=1}^{n}(y_i-\beta_0-\sum_{j=1}^{p}\beta_jx_{i,j})^2\} (βˉ​0​,βˉ​1​,....,βˉ​p​)=min{RSS(β0​,β1​,....,βp​)}=argminβ0​,β1​,....,βp​​{i=1∑n​(yi​−β0​−j=1∑p​βj​xi,j​)2}
（详请看第三章，线性模型和最小二乘法的参数估计(linear model &least square)）
多元线性回归除了计算估计参数的结果不一样，其余性质均和简单线性回归一样。我们也会有多元线性回归和正态分布$Y_i～N({\beta }_0+{\beta }_1{x}_{i,1}+,....,+{\beta }_p{x}_{i,p},{\sigma }^2)$，残差也服从$N(0,{\sigma }^2)$
那么
$$corr(x_j,e)=0，\sum _{i=1}^n{e}_i=0$$
即残差和所有随机变量x无关,同理于简单线性回归。
那么估计残差的方差$\sigma$:
$$E[\frac{RSS}{n-p-1}]={\sigma }^2$$
那么:
$$\frac{RSS}{{\sigma }^2}～{\chi }_{n-p-1}^2$$
多元线性回归和n-p-1个自由度的t 分布有关.
那么多元
$$\sum _{i=1}^p{x}_i{\bar{\beta }}_i-\sum _i^p{x}_i{\beta }_i/[\sqrt{\frac{RSS}{n-p-1}}\sqrt{x^T(X^{T}X{)}^{-1}x}]～t_{n-p-1}$$
$x=\left[\begin{array}{c}{x}_0\\ x_1\\ ⋮\\ x_p\end{array}\right]$

上图$X^{T}X$里的下标为k的为我们的p。

$R^2$值(R-squared)
我们先不急着讲$R^2$值，我们来看下这个公式:
$$TSS=\sum _{i=1}^n(y_i-y_{mean}{)}^2$$
$y_{mean}$即$y_i$均值.大家是不是觉得这公式很眼熟，很像方差嘛，对没错只不过没有最后取均值而已，否则就是我们意义上的方差即上述公式再求个期望/均值。所以反过来想这就是所有方差的和嘛。

方差本质是由两个因素产生，第一: 输入值$x_i$的数量，多样性和极端性，使我们的输出值$y_i$五花八门。第二:就是我们的随机误差，也就是我们的残差导致的。针对第二点因素，巧了，我们有残差平方和公式，即:
$$RSS=\sum _{i=1}^n{e}_i^2$$
因为我们本章讨论的是线性回归，那么我们以简单线性回归举例子把RSS写的具体些，即:
$$RSS=\sum _{i=1}^n(y_i-{\bar{\beta }}_0-{\bar{\beta }}_1{x}_i{)}^2$$

那么，我们如果去掉第二点因素导致的方差和，即：
$$TSS-RSS$$
便得到是由第一点因素影响我们的方差和，即由输入值$x_i$的多样性和极端性，使我们的输出值$y_i$五花八门，从而导致我们的方差和过高或低。

那么，我们便可以得到关于因素1影响我们方差和的比重，即:
$$R^2=\frac{TSS-RSS}{TSS}=1-\frac{RSS}{TSS}$$
这就是R值，也叫拟合度(coefficient of determination)，很明显$R^2\in [0,1]$,那么，如果$R^2$越大，说明关于因素1影响我们方差和的比重越大，也就是说关于残差影响我们的方差和比重越小，也就是说我们的模型拟合度好，因为唯一影响我们的预测的方差仅仅是$x_i$即我们的训练数据而已，残差根本不会影响很大,这不就说明我们的模型很好的诠释了我们的数据么。反之$R^2$越小，则拟合度越差，说明残差极大的影响了我们预测的方差。我们为啥要min{RSS}不就是为了把残差降到最低嘛从而估计参数嘛，别你最后的模型还有很大残差，这就没意思了说明你模型拟合度差(非饱和)。

处理分类变量(handling categorical predictors)
在做线性回归的时候，我们会碰到分类的变量，例如，这里有4类城市名称，1-上海，2-北京，3-奉天，4-汝南，很明显这数字1，2，3，4不可能加减到我们的线性回归上，均值或计算估计参数上吧。我们要对它们进行下处理，处理完后这些变量称为指标变量(indicator variables)。
首先我们会把它们重新划分为K-1个变量(K为几类)，假如我们这里有4个城市即4类，那么我们会划分成4-1=3个变量。
                                                 城市：            A   B   C
$$\left(\begin{array}{c}1\\ 2\\ 1\\ 3\\ 4\\ 2\\ 3\\ 2\\ 4\end{array}\right)\to \left(\begin{array}{c}0，0，0\\ 1，0，0\\ 0，0，0\\ 0，1，0\\ 0，0，0\\ 1，0，0\\ 0，1，0\\ 1，0，0\\ 0，0，1\end{array}\right)$$

原先我们就一个变量即城市，城市这个变量可以表现1，2，3，4即4类城市，现在我们把它转换成3个变量A,B,C这三个变量一起表示4类城市.而每个变量只能表示0或者1，这方法很巧，因为当变量这能表示0或者1时，它对它的系数参数影响很大要么0要么非0，这也是为什么它们叫做指标变量。这种方法可以使用在我们的线性回归上面。

可能有的同学看到0，1就会连想到逻辑回归，多类逻辑回归(深度学习里常用的softmax())，没错，这是当我们的模型是分类器即逻辑回归模型的情况下，预测变量是分类数据的时候。但在线性回归模型下，我们也可以处理，即把变量转变为指标变量.

至于二元逻辑回归，多类逻辑回归在本章第二节回归部分里小弟简略的提一下，等到更新至高等数据分析和深度学习会详说多。

非线性情况(nonlinear effects)
有时候我们的x和y的关系可能不是线性，这时候我们需要改变下我们x变量的写法。当我们的x在指数的位置上，与y的关系形成了非线性,我们一般会用两边log的形式把x从指数上取下来。
例子1:
$$W(t)\approx c{e}^{-dt}$$
两边取log：
$$log(W(t))\approx log(c)-dt$$
那么：
$$Y=log(W(t)),{\beta }_0=logc,{\beta }_1=-d$$
那么即为:
$$Y={\beta }_0+{\beta }_{1}t+\epsilon$$

例子2：
$$1-P(x)\approx c(1-d{)}^x$$
两边取log:
$$log(1-P(x))\approx log(c)+xlog(1-d)$$
那么:
$$Y=log(1-P(x)),{\beta }_0=log(c),{\beta }_1=log(1-d)$$
有的同学会问如果是log呢，没错两边取e，这其实就是一个很简单的数学技巧而已，在物理里我们有时候也会用到这种技巧。但很不幸，这种技巧只能用在当我们发现x和y只呈现一个弧度的曲线。非线性如果有多个弧度的曲线呢？没错我们利用多项式回归模型(polynomial regression)。其实在数据分析模型这课里，不强调学习过多的回归模型，但小弟同样还是会在本章第二节回归里简单提一下，更新至高等数据分析会详提。

二. 浅谈其他回归模型

二元逻辑回归模型:
讲二元逻辑回归，我们回顾下，伯努利分布:
$$P(y=1|\theta )=\theta$$
现在小弟打算看看成功和失败的比值，我们用对数几率(log-odds)的方式表达出来,即:
$$log(\frac{\theta }{1-\theta })=x$$
那么我们化简下，把$\theta$单独放在等式左边，即得到:
$$\theta =\frac{1}{1+e^{-x}}$$
这就是二元逻辑回归公式。二元分类在公式上一般是S曲线，在深度学习里就是常用的sigmoid()激活函数。

有的同学会说，我们能否把对数几率换个表达，换成多元线性方程，嗯没错，可以呢.那么，我们可以得到:
$$log(\frac{{\theta }_i}{1-{\theta }_i})={\beta }_0+\sum _{j=1}^p{\beta }_j{x}_j$$

那么:
P { y i = 1 ∣ x i , 1 , . . . , x i , p } = 1 1 + e − β 0 − ∑ j = 1 p β j x i , j P\{y_i=1|x_{i,1},...,x_{i,p}\}=\frac{1}{1+e^{-\beta_0-\sum_{j=1}^{p}\beta_j x_{i,j}}} P{yi​=1∣xi,1​,...,xi,p​}=1+e−β0​−∑j=1p​βj​xi,j​1​

多元逻辑回归
多元逻辑回归就是多个分类嘛,假如有K类，那么:
$$P(Y=0|X_1,X_2,...,X_p)$$
$$P(Y=1|X_1,X_2,...,X_p)$$
                                 …
$$P(Y=K-1|X_1,...,X_p)$$
二元逻辑回归是$y_i=1$的概率和$y_i=0$的概率比，那多元逻辑回归怎么办，那我们找个标杆，我们均和$y_i=0$的概率比，即写成:
$$log(\frac{P(Y=k|X_1,..,X_p)}{P(Y=0|X_1,..,X_p)})=\sum _{j=1}^p{\beta }_j^k{X}_j+{\beta }_0^k$$
上述公式k=0,1,2,3,…,K. 这个${\beta }_j^k$的上标k的意思是不同的概率比，它们对应的$\beta$均不一样，这不相当于多个二元逻辑回归比么，不同的概率比$\beta$是不一样的。例如${\beta }_1^1\ne {\beta }_1^2\ne {\beta }_1^3$,切记这不是平方，立方的意思。意味着第k类和0类的概率比的$\beta$
这个公式太长了写的太麻烦了，我们可以写成:
$$log(\frac{P(Y=k|X_1,..,X_p)}{P(Y=0|X_1,..,X_p)})={\eta }_i^k$$
那么化简即可:
$$P(Y=0|X_i)=\frac{1}{1+{\sum }_{k=1}^{K-1}{e}^{{\eta }_i^k}}$$
$$P(Y=1|X_i)=\frac{e^{{\eta }_i^1}}{1+{\sum }_{k=1}^{K-1}{e}^{{\eta }_i^k}}$$
                                 …
$$P(Y=K-1|X_i)=\frac{e^{{\eta }_i^{K-1}}}{1+{\sum }_{k=1}^{K-1}{e}^{{\eta }_i^k}}$$
看到这里，可能学过深度学习的人明白，这是啥，这不就是softmax()么,像什么人工智能垃圾分类，卷积层神经网络最后一层不就是softmax()么，是不是突然有点恍然大明白的感觉。初学者若不太理解，也没事，这部分内容其实涵盖了广义的线性模型，属于高等数据分析的范畴，换句话说已经超纲了，等更新至高等数据分析，小弟会详细讲解。

多项式回归模型(polynomial regression)
多项式回归模型比线性模型灵活多了，可以模拟非线性的数据。但是，还记得小弟在第一章讲到的，没有一个模型是万能的，对没错，多项式回归模型只能拟合非线性且该非线性处处可求导，什么意思，也就是说只能拟合光滑曲线。举个例子，大家见过心电图吧，多项式回归模型，就没有树形模型好。可通过计算$R^2$可比较。
多项式回归模型:
$$y={\beta }_0+{\beta }_{1}x+{\beta }_2{x}^2+...+{\beta }_p{x}^p+\epsilon$$
当随着变量越多即x越多它会取向饱和，越少趋向非饱和。

如下图非饱和,实线为真，虚线为$y={\beta }_0+{\beta }_{1}x+{\beta }_2{x}^2$

如下图过饱和,实线为真，虚线为$y={\beta }_0+{\beta }_{1}x+{\beta }_2{x}^2+,...,+{\beta }_{20}{x}^{20}$

下图，为正正好好，虚线为$y={\beta }_0+{\beta }_{1}x+{\beta }_2{x}^2+,...,+{\beta }_6{x}^6$

所以大家发现了，是否${\beta }_j=0$很重要，那么我们便可以用假设检验来判断，符合n-p-1的t分布。至于具体推导和公式，在此按下不表了，高等数据分析会详细解释。

模型的选择(model selection)
想必大家已经发现了，变量越多，模型复杂度越大，模型越可能过饱和。那怎样我们可以基于模型一定的情况下，找到适合的变量，以防模型过饱和或者非饱和。

还记得负log似然公式么，估计${\bar{\beta }}_0,{\bar{\beta }}_1$即:
$$L(y|{\bar{\beta }}_0,{\bar{\beta }}_1)$$
（负log似然公式详请看数据分析模型 第三章，或者看本章前面关于似然=最小二乘法的内容）
负log似然公式仅仅帮我估计参数，但不能帮我们选择模型。当变量越多，即$\beta$越多，一般情况下，我们负log似然的结果就越小，所以模型会过饱和。

现在我们将负log似然公式改一下:
G = m i n { L ( y ∣ β ˉ 0 , β ˉ , M ) + α ( n , k M ) } G=min\{L(y|\bar\beta_0,\bar\beta,M)+\alpha(n,k_M)\} G=min{L(y∣βˉ​0​,βˉ​,M)+α(n,kM​)}
该公式在说什么意思呢，$M$代表你的模型，该模型现在有那些估计过的参数，你带入到负log似然中得到一个结果，再加上一个很古怪的东西$\alpha (n,k_M)$。你可以一个个变量加上去，或者把不同的变量组合也加上去，反正疯狂的尝试不同的变量组合，直到我们的G为最小值，就停，那么我们就可以得到该模型搭配的随机变量。
而这个古怪的东西$\alpha (n,k_M)$为复杂度惩罚(complexity penalty),当它为:
$$\alpha (n,k_M)=k_M$$
n为我们样本数据数目，$k_M$为有多少个变量。我们的G为赤池信息准则(Akaike information criterion，AIC)。对没错，它其实本质是一种惩罚性质的似然估计.
当:
$$\alpha (n,k_M)=\frac{k_M}{2}log(n)$$
时我们的G即为贝叶斯信息准则(Bayesian Information Criterion，BIC)
我们可以看出，如果变量越多，其实我们的$L(\cdot )$会变的更低，但这无疑增加了模型的复杂度，所以$\alpha (n,k_M)$作为复杂度惩罚在尝试着增加我们G，使我们G无法变的最小。

这里要注意下贝叶斯准则中的$\alpha (n,k_M)$,它必需$\frac{1}{2}logn>1$.

如果你用AIC，但AIC的复杂度惩罚 比BIC的复杂度惩罚小,我们的模型有几率过饱和,
如果你用BIC，但BIC复杂度惩罚比AIC复杂度惩罚大，那我们的模型有几率非饱和。
总而言之，AIC是会增加我们模型饱和的概率，BIC是会增加我们模型非饱和的概率。
当你算的AIC和BIC之间差>=3，那么我们认为这个模型正好。

我们之前讨论到我们需要尝试不同的变量组合，如果有p个变量，那么我们要尝试$2^p$次，所以这个方法只能用在p不是很多的情况。

方法1:正向选择逻辑(forward selection algorithm)
1:我们模型什么变量都没有
2：找到一个变量，使我们的信息准则G为最低，你可以选择AIC或者BIC。
3:如果没有一个变量，使我们的G为最低那么停止
4:加一个变量到我们模型里
5：返回第2步

方法2:逆向选择(backward selection)
一开始把所有变量都加入至模型中，然后一个个减去变量。

三. 结语

各位同学辛苦了，有公式推导错误的或理论有谬误的，请大家指出，我好及时更正.

这次更新晚了一些，当时学的时候没发现老师讲课的排版有问题，当自己重新分享给大家时，发现理论的排版不符合新人的认知，所以自己排了下版。不排不知道，一排才发现排版也挺烧脑的。
本章小弟涉及了一丝丝关于高等数据分析的知识和深度学习的关系。大家可以看到，深度学习的根本在于概论，统计和离散数学。所以阿，什么是数据科学专业，其实就是半个数学家会玩计算机罢了。小弟说白了，深度学习牵涉的很多根本逻辑就是数学，它只不过利用人类的神经表现出来了而已。美名其曰人工智能，小弟认为其实就是统计，数学模型的预测，通过计算机计算出来了而已。小弟斗胆认为，数学学的好的人计算机一定强。小弟个人认为自己数学是个半吊子，对于深度学习和计算机视觉学的一般般。所以如果同学们对人工智能感兴趣，请务必学好数学，尤其是离散和概论！

自习的同学可以参考Ross, S.M. (2014) Introduction to Probability and Statistics for Engineers and Scientists, 5th ed. Academic Press. 第9章