偏差和方差的区别(方差偏差)

莫然
莫然
莫然
75101
文章
0
评论
2021年1月4日14:46:52
评论
365

  任何机器学习算法的目标都是在给定输入数据(x)的情况下,最优地估计目标变量(y)的映射函数(f)。这个函数的推广误差可以表示为三个非常不同的误差之和:

  偏差误差;

  方差误差;

  不可减少的错误。

  了解不同误差源如何影响机器学习算法的偏差和偏差,将有助于我们改进数据拟合过程,获得更准确的模型。

  偏差误差衡量我们模型的预期预测与它试图预测的正确值有多远,因此这种泛化与误差假设有关。换句话说,偏差是指更简单的模型在处理现实生活中可能非常复杂的问题时引入的误差。

  通常参数算法偏差较大,比较容易理解,但通常不太灵活。

  低偏差:模型对目标函数的形式做了很好的假设。

  例子:决策树,k近邻,支持向量机。

  高偏差:模型通常远离目标函数的形式。比如假设数据是线性的,但实际上是二次的。

  例子:线性回归,线性判别分析,Logistic回归。

  方差意味着如果我们使用不同的训练数据集来估计映射函数的变化。因此,方差与模型对训练数据中可能存在的微小变化的过度敏感性有关。

  例如,如果模型具有高方差,训练数据的微小变化可能导致目标预测的巨大变化。一般来说,具有很大灵活性的非参数机器学习算法方差较高。

  低方差:随着训练数据集的变化,映射函数略有变化;

  例子:线性回归,线性判别分析,Logistic回归。

  高方差:随着训练数据集的变化,映射函数会有很大的变化。

  例子:决策树,k近邻,支持向量机。

  这部分概括是因为数据本身的噪声。减少此问题影响的唯一方法是清理数据。

  任何有监督的机器学习模型的目标都是实现低偏差和低方差。之所以称之为权衡,是因为通过增加模型的复杂度,方差会增大,偏差会减小,而对于更简单的模型,增大的偏差和方差会减小。

  在这个问题的基础上,处理偏差和方差,其实就是处理过拟合和欠拟合。例如,当您向模型添加更多参数时,模型的复杂性和方差将会增加。因此,方差现在是我们主要关心的,而偏离倾向于减少。

  总之,模型的完美复杂度是偏差的增加等于方差的减少。所以,如果我们的模型是完美的,那么我们就会处理过拟合,如果我们的复杂度不足,那么我们就不拟合模型。不幸的是,没有分析方法来衡量这个最佳点。相反,我们必须用成本函数来衡量我们的预测偏差,探索不同层次的模型复杂性,然后选择使总体误差最小的层次。

  来源:莫然博客,欢迎分享这篇文章!莫然博客

莫然
心情随笔

宿迁生猪最新价格(全国生猪价格猪e网)

2011年3月8日全国生猪平均价格14点32,最新1月24日生猪报价,生猪均价13点76元/公斤,单位:元/公斤。南风金融网,较上周上涨0点47元/公斤。是指生猪的价格。生猪一。 猪价格网,您可以到,...
心情随笔

宣统通宝高仿图片 – 宣统通宝有几种

宣统通宝,此币是 宝泉局宣统通宝,个人看真,宣统通宝宝云局制背硔分上硔.真品无疑。 但是宣统元宝不及咸丰的值钱价值在,宣统通宝大清镇库,右硔,数量也不多,假,如有藏品图片宣统的话图片。 补充图片看看就...
心情随笔

宝马最便宜的一款多少钱 – 华晨宝马多少钱一辆

国内的宝马主要有3系多少5系6系7系X系M,性能当然不能和德国产的想比啦!而不久后宝马1系也将进口到中国,其次…宝马1系一款,目前最价廉的宝马车型应该是全新入门级,华晨宝马320i好像没有进取型啊。 ...
心情随笔

实木门多少钱,附近的木门厂

而且前期市场现在也不是很好做,材质越好价格越贵,目前在不少家庭中都可以,轻奢、一个木门多少钱?钢木门杉木龙骨,烤漆实木门、设备投资成本在80万左右。 师傅工资挺高的,复合钱实木门等。既然要用到实木复合...
匿名

发表评论

匿名网友 填写信息