噪音

• 输入特征不准确
• 输出错误

目标分布

在有噪音的情况下$y$的输出带有了概率性，即$y$服从如下分布：$$X\sim P(X)$$$$y\sim P(y|X)$$$P(y|x)=f(x)+noise$,X$条件下$Y$ 出现的概率分布。
$P(y|x)$为目标分布，进而可以得到mini target function $f(x)$。

误差衡量

• 0/1错误 预测≠目标，通常用于分类
• 平方错误，衡量预测与目标之间的距离，通常用于回归

根据不同的应用，我们需要选择不同的错误衡量方式。在二元分类中，根据不同的应用场景，可对false reject and false accept造成损失的代价不同，赋予不同的权重，以便在选择近似函数时对错误衡量有所偏重。