2.6. Statistical Models, Supervised Learning and Function Approximation

Statical model

• regression

  $y_i=f_{ heta}(x_i)+epsilon_i,E(epsilon)=0$
  1.$epsilonsim N(0,sigma^2)$ 2.使用最大似然估计$ ightarrow$最小二乘
  
  $ysim N(f_{ heta}(x),sigma^2)$
  $L( heta)=-frac{N}{2}log(2pi)-Nlogsigma -frac{1}{2sigma^2}sum_ileft(y_i-f_{ heta}(x_i) ight)^2$
  

• classification

  $p_{ heta}(g_i=k|X=x_i),k=1cdots K$
  此处使用最大似然估计等同于Cross entropy和KL散度
  
  对于单个数据点$(x,g=k)$来说,其所属类别$g=k$为1，其余类别为0
  

  • $L( heta)=logp(g=k|x)$ 需要最大化
    
  • $CE(p,q)=-sum_x p(x)logq(x)$
    对应到本例$CE=-sum_i p(g=i)logp(g=i|x_i)=-logp(g=k|x)$ 需要最小化
    
  • $KL(p,q)=sum_x p(x)logfrac{p(x)}{q(x)}$
    对应本例$KL=sum_i p(g=i)logfrac{p(g=i)}{p(g=i|x)}=logfrac{1}{p(g=k|x)}=-logp(g=k|x)$需要最小化