损失函数

针对训练集来说：
回归 squared error loss：
$L(y,f(\mathbf{x}))=(y-f(\mathbf{x}){)}^2$
分类 0-1 loss：
$L(y,f(\mathbf{x}))=\{\begin{array}{l}1\text{ if }y\ne f(\mathbf{x})\\ 0\text{ if }y=f(\mathbf{x}).\end{array}$

评估方法

针对测试集
回归：
mean square error:
$\mathrm{M}\mathrm{S}\mathrm{E}=\frac{1}{m}{\sum }_{i=1}^m{\left(y_i-\hat{f}\left({\mathbf{x}}_i\right)\right)}^2$
此外，均方根误差和预测R2由均方误差推导而来，是报告结果的常用方法:
$$\begin{array}{c}\text{ RMSE }=\sqrt{\frac{1}{m}{\sum }_{i=1}^m{\left(y_i-{\hat{y}}_i\right)}^2}\\ \text{ Prediction }{\mathrm{R}}^2=1-\frac{{\sum }_{i=1}^m{\left(y_i-{\hat{y}}_i\right)}^2}{{\sum }_{i=1}^m{\left(y_i-\bar{y}\right)}^2}\end{array}$$

偏差方差分解

模型越复杂，对训练集数据拟合越好，偏差越小，越flexible，也就是对噪声敏感，方差越大。换个数据集就不太行了。

no free lunch theorem

没有一种问题可以适合所有方法。