一、如何选择研究方向？
不应该在去从传统的方向入手，一方面你做不过传统实验室，另一方面你的计算资源也无法和公司相比。可以考虑传统问题的组合或者是工业界一些痛点问题。
二、深度学习的“不能”
深度学习有很多的“不能”，在一定程度上是由“深度学习”本身的特性所决定的，比如数据集在标注过程中带来的偏见最终会导致算法判决结果的偏见、深度学习相对于传统方法而言，准确性越来越高，但是可解释性越来越差。
三、符号主义和联结主义
符号主义的解释性较好，但是准确性较差；以联结主义为代表的深度学习则相反，当然如果想二者兼具，最好的方法就是二者结合。连接主义它是一个自下而上的，他的一个思路是模拟人的大脑的结构；符号主义的更多是自上而下的，就像它代表的是专家系统，也就是说他会用人的推理方式。很多关于深度学习和知识图谱之间的一个结合，那么大概有两个方向：1、把知识图谱以先验的形式加入到一个深度学习的表示学习里边；2、基于深度学习对知识图谱的构建去做一些服务，比如说，深度学习应用在图谱的切入表示里面。
四、浅层神经网络
线性问题——线性超平面将数据分离，单层感知器无法解决最简单的异或问题。激活函数的选择也很关键，relu和sigmoid，前者没有梯度消失的问题，一定程度上二者是等价的
万有逼近定理；第二层看神经网络见的，其实是经过线性变换之后的数据，等效于从不同的视角看数据集；双隐层在理论上可以逼近任何非线性函数。
神经网络变深或者是变宽，分别会有不同的效果
多分类和多标签都可以通过一定的方式转化为二分类的问题
理论证明，瘦高神经网络效果更好
多层神经网络——求导乘积导致最后结果越来越小
逐层预训练：局部极小值数量随着层数增加急剧增多
自编码器最初是用来降维的