2.8 Classes of Restricted Estimators

根据所加限制的不同，可以将模型分为以下几类

• RSS+Roughness penalty
  $PRSS(f;lambda)=RSS(f)+lambda J(f)$
  其中$J(f)$为对函数$f$的penalty，先验知识

• Kernal+Local Regression
  Kernal函数用于指定某邻居区域
  

  • $K_lambda(x_0,x)=frac{1}{lambda}expleft[-frac{{||x-x_0||}^2}{2lambda} ight]$
    $lambda$越小，离$x_0$远的点，权重就越小，即表示小的邻居区域

  • KNN中k近邻也可以理解为Kernal函数

  Local regression函数，主要是一些简单函数，如：
  

  • $f_{ heta}(x)= heta_0$，常数，可以看成是KNN中使用的邻居区域函数

  • $f_{ heta}(x)= heta_0+ heta_1x$

  
  

• Basis Function+linear combination
  $f_{ heta}(x)=sum_i^M heta_m h_m(x)$
  $h_m(x)$为basis function，也叫dictionary methods