第一章：概述
深度学习：机器学习含有多个隐藏层
有监督的：卷积，循环，递归
无监督的：生成式
类别标签：
ground truth：表示直接收集到的数据
使用sklearn进行训练集，测试集的拆分：留出法和k折交叉验证，分层抽样策略
超参数：不变的，调节超参数找到能使模型取得较好性能的超参数
第二章：特征工程
目的是最大限度地从原始数据中提取特征以供算法和模型使用
1：概述
自然语言处理：自动分词，词性标注，句法分析
Text Process API：情感分析
Jieba：中文语言处理
2：向量空间模型及文本相似度计算
BOW假设（存在模型）VSM模型（向量空间模型）
3：特征处理
特征缩放
标准化：方程和标准差
特征选择
特征降维
第三章：回归问题及正则化
1：线性回归
梯度下降法
沿着损失函数梯度下降的方向，寻找损失函数的最小值，得到最优解
2：多元回归
西瓜的价格取决于多种因素
3：损失函数的正则化
抑制过拟合
4：逻辑回归
使用sigmoid函数
垃圾短信分类
第四章：信息熵及梯度计算
1：熵
2：反向传播（BP）与梯度
从输出节点开始，将误差信号沿着原来的连接通路返回，通过修改各层神经元的连接权值，使误差信号减至最小。
3：感知机
第五章：循环神经网络（RNN）
1：概念
隐藏层节点之间是有连接的，考虑上下文内容
RNN序列处理
2：长短时记忆网络（LSTM）
标准的无法捕捉长期状态
3：双向RNN，注意力模型
双向RNN
注意力模型：集中到重要
第六章：卷积与卷积网络
卷积使原始信号的特征被增强
对图像和滤波矩阵做内积的操作叫做卷积操作
卷积神经网络：特点
1：局部连接
局部相关性较高
局部连接，参数共享，子采样
2：参数共享
卷积核中是相同的，
3：多卷积核
也可以使用不同大小，不同数值的卷积核
4：池化处理
降采样处理，对不同位置的特征进行聚合统计，通常去对应位置的最大值（最大池化）平均值
LeNet-5
第七章：递归神经网络:
1：情感分析
（意见挖掘，倾向性分析）是对带有情感色彩的主观性文本进行分析，处理
现有的情感词典
生语料
2：词向量
3：递归神经网络
引入了张量层
第八章：生成式神经网络
1：自动编码器
无监督学习：聚类，自动编码器是一种无监督的神经网络模型
2：变分自动编码器
3：生成对抗网络
仿制者与鉴定师对抗，对抗时越来越强
