本博客内容来自 Stanford University CS231N 2017 Lecture 2 - Image Classification
课程官网：http://cs231n.stanford.edu/syllabus.html
从课程官网可以查询到更详细的信息，查看视频需要FQ上YouTube，如果不能FQ或觉得比较麻烦，也可以从我给出的百度云链接中下载。
课程视频&讲义下载：http://pan.baidu.com/s/1gfu51KJ
带参数的模型（parametric classifier）
上一篇博客中讲解的KNN模型，不算超参数的情况下，只需要数据作为输入，就可以产生分类结果。这样的模型没有参数。
现在我们的模型不光需要数据，还需要一组参数W（也可以叫做权重Weight），和一个函数f。将数据和参数W输入函数f得到一组结果，结果中每个分量代表数据与某一类的契合度，数值越高，数据越有可能属于这个类别。
根据f定义的不同，就演化出了不同的模型，而线性模型是其中最简单的一种
在线性模型中，f的定义很简单，就是乘法，将参数W与输入x相乘，就得到了最终的输出。不过要注意，这里的W、x都是矩阵，乘法也是矩阵乘法。
如何理解线性模型
- 模板（template）
线性模型的系数矩阵，行数是类别的数量，列数是输入数据的长度。每一行单独看，都是这一行权重与数据的内积，而两个向量的内积可以在一定程度上反应两者之间相似性，两者方向上越相近，内积越大。因此，我们就可以把权重的每一行想象成一个模板，相乘的操作就是在尝试用数据去匹配每一个模板，最终匹配得分最高的，也即是最相似的就是分类的结果。
而且如果我们把系数矩阵每一行通过相同的规则（图片数据一般都是三维的rgb，输入给模型的时候都被转换成了一维数组）逆向转换为图片，我们就能发现，这些模板是能隐约看出所代表的类别的。
这张图片下部就是将对应类别权重逆向转化为图片后得到的。第二个和第八个尤其明显，基本已经能看出汽车和马的轮廓了。
- 高维平面
在二维的时候，可以把线性模型想象成一条直线，直线的一边是属于某类别的数据，另一边是不属于的数据。
在三维的时候，同理，可以想象成平面。
在n维的时候，可以想象成n-1维的平面，将整个空间划分成两部分，一部分属于某类别，一部分不属于。
线性模型的缺陷
- 无法解决线性不可分问题
如图所示，红色和蓝色分别代表不同的类别。像上述三种情况就属于线性不可分问题，也就是无法用一条直线将两种类别的区域完美的切分开来。线性模型无法解决这类问题。
- 模板唯一性
线性模型中，和某一个类别对应的系数只有W中的一行，也就是说，一个类别只有一个模板。这样就对识别某些变化幅度很大的类别造成了困难。
比方说，刚才讲模板的时候，第八个模板是关于马的。可以明显的看到，这匹马似乎有两个头，这就是因为在训练数据中有的马是头朝左的，有的是头朝右的。由于线性模型只能有一个模板，所以这个模型将两种类型做了个平均，结果就是好像马有两个头。