代码之家  ›  专栏  ›  技术社区  ›  demalegabi

试图理解线性回归中的期望值

  •  3
  • demalegabi  · 技术社区  · 6 年前

    我很难理解我学校机器学习课程中的幻灯片

    enter image description here

    为什么Y的期望值=f(X)?这是什么意思

    我的理解是,X,Y是向量,f(X)输出Y的向量,其中Y向量中的每个单独值(Y\u i)对应于f(X\u i),其中X\u i是索引i处X中的值;但现在它取的是Y的期望值,它将是一个单一的值,那么它如何等于f(X)?

    十、 Y(大写)是向量

    x\u i,y\u i(带下标的小写)是x,y中索引i处的标量

    1 回复  |  直到 6 年前
        1
  •  3
  •   D_Serg    6 年前

    这里有很多困惑。首先,让我们从定义开始

    定义

    1. 期望运算符E[.]:将随机变量作为输入,并将标量/向量作为输出。假设Y是一个正态分布的随机变量,平均μ和方差σ^{2}(通常表示为: Y~N(Mu,Sigma ^{2}),然后E[Y]=Mu

    2. 函数f(.):获取标量/向量(不是随机变量)并给出标量/向量。在这里,它是一个仿射函数,即f(X)=a*X+b,其中a和b是固定常数。

    发生什么事了

    现在,您可以从两个角度查看线性回归。

    统计信息视图

    一个角度假设您的响应变量Y是正态分布的随机变量,因为:

    Y~a*X+b+epsilon

    哪里

    ε~N(0,σ^ sq)

    X是另一个分布。我们并不真正关心X是如何分布的,也不关心它是如何被给定的。在这种情况下,条件分布为

    Y | X~N(a*X+b,σ^ sq)

    注意这里的a,b 还有 X是一个数字,不存在与之相关的随机性。

    数学视图

    另一个视图是数学视图,我假设有一个函数f(.)这控制着现实生活的过程,如果在现实生活中我观察到X,那么f(X)应该是输出。当然,情况并非如此,假设偏差是由于各种原因造成的,如量规误差等。声称该函数是线性的: f(X)=a*X+b

    合成

    现在我们如何组合这些?那么,如下所示: E[Y | X]=a*X+b=f(X)

    关于你的问题,我首先想挑战它应该是Y | X,而不是Y本身。

    第二,关于每个术语在现实生活中所代表的含义,存在着大量可能的本体论讨论。十、 Y(大写)可以是向量。十、 Y(大写)也可以是随机变量。这些随机变量的样本可能存储在向量中,并且两者都用大写字母表示(最好的方法是为每个变量使用不同的字体)。在这种情况下,您的样本将成为您的数据。应在随机变量层面上讨论模型的总体观点及其与现实生活的相关性。推断参数的方法,线性回归算法的工作原理应该在矩阵和向量级别上进行。可能还有其他讨论,你应该关心这两个问题。

    我希望这个过于杂乱无章的答案对你有所帮助。一般来说,如果你想学习这些东西,一定要知道你正在处理什么类型的数学对象和运算符,它们作为输入的内容是什么,它们与现实生活的相关性是什么。