1、简单线性回归

简单线性回归是一个线性回归模型。一个独立变量和一个因变量，目的是找到的因变量和自变量之间的线性函数，尽可能准确地，预测因变量的值作为自变量的函数。这是常见的做法是：利用最小二乘方法使得残差（数据集的点和拟合线之间的垂直距离）最小化。找到残差最小时的拟合曲线即为我们要找的结果。
假设拟合曲线为：

$$y=\beta_0+\beta_1x$$
这样我们的目标就是找到斜率 $\beta_1$和 $y$轴截距$\beta_0$,换成数学表达式就是找到 $\beta_0$和 $\beta_1$使得下面的表达式最小：
$$min \sum_{i=1}^{n}\{y_i -(\beta_0+\beta_1x_i)\}^2$$
下面是求解过程：
$$=\sum_{i=1}^{n}\{y_i -(\beta_0+\beta_1x_i)\}^2$$
$$=\sum_{i=1}^{n}\{y_i -\beta_1x_i-\beta_0\}^2$$
令 $y^*=y_i-\beta_1x_i$可以将上式简化为
$$=\sum_{i=1}^{n}\{y^*-\beta_0\}^2$$
要使得上式最小化，只有 $\beta_0$等于 $y^*$的平均值的时候才能使得上式最小。
$$\beta_0=\frac{\sum y_{i}^{*}}{n}=\frac{\sum (y_{i}-\beta_1x_i)}{n}=\overline{y}-\beta_1\overline{x}$$
将 $\beta_0$代入原始式子得到
$$=\sum_{i=1}^{n}\{y_i -\beta_1x_i-\overline{y}+\beta_1\overline{x}\}^2$$
$$=\sum_{i=1}^{n}\{y_i -\overline{y}-(x_i-\overline{x})\beta_1\}^2$$
令 $\hat {y_{i}}=y_i-\overline{y}$和 $\hat {x_{i}}=x_i-\overline{x}$
$$=\sum_{i=1}^{n}\{\hat {y_{i}}-\hat {x_{i}}\beta_1\}^2$$
同上面 $\beta_0$ 的道理， $\hat {x_{i}}\beta_1$等于 $\hat {y_{i}}$的均值时上式最小，这样的得到 $\beta_1$的解：
$$\beta_1=\frac { \sum \hat {y_i} \hat {x_i} } {\sum \hat {x_i}^2}=\frac{\sum (y_i-\overline{y})(x_i-\overline{x})}{\sum (x_i-\overline{x})^2}$$
$$\beta_1=\frac{\sum (y_i-\overline{y})(x_i-\overline{x})/(n-1)}{\sum (x_i-\overline{x})^2 /(n-1)}$$
$$\beta_1=\frac {cov(y,x)}{cov(x,x)}=\frac {cov(y,x)}{var(x)}$$

2、线性回归

给定一个数据集$\{y_i,x_{i1},...,x_{ip}\}_{i=1}^{n}$ ，线性回归模型主要是为了找到变量$y_i$ 和向量 X <script type="math/tex" id="MathJax-Element-1946">X</script>的线性关系。
This relationship is modeled through a disturbance term or error variable εi — an unobserved random variable that adds noise to the linear relationship between the dependent variable and regressors. Thus the model takes the form

待续。。。

参考资料：
1、https://en.wikipedia.org/wiki/Simple_linear_regression
2、https://en.wikipedia.org/wiki/Linear_regression