2018-04-25朴素rcnn - 梯度消失严重
LSTM长短时记忆模型，有效捕捉长时记忆
包含四个神经元组：
一个记忆神经元
三个控制门神经元：输入、忘记、输出
注意：输入调制门、输出调制门
3个输入：前一时刻的隐藏状态h、前一时刻的记忆状态c、当前时刻的输入x
2个输出：当前时刻的隐含状态h，当前时刻的记忆状态c
i、f、o、gt对应的都是xt、ht-1的矩阵乘和偏置
以7个时间片为例-黑白：输入们、输出们关闭时不输出当前时刻、忘却门打开时可以向下一个时刻传递
记忆状态cell state：记忆的核心
控制门：配有sigmoid函数的神经元，【0，1】
忘记门：sigmoid激活
tanh激活：压缩记忆状态【-1，1】
记忆状态更新：1)选择性移除前一时刻的旧信息~记忆状态2）选择性添加当前时刻的新信息~调制输入
Lstm的变种：
peephole：窥视，ft和it加入Ct-1
coupled耦合的忘记-输入门：Ct
GRU门限递归单元：新增重置门和更新门，合并输入们和忘记们，合并记忆状态和隐藏状态
lstm&gru：后者更适合小规模数据，参数少、拟合能力相对弱
image captioning图说模型：
模型策略：
传统的分段处理：
1）图片内容-》文本标签-》描述语句
2）将图片和文本映射到同一共享空间下，翻译图片特征-》语言描述 ~黑箱严重
state-of-the-art模型：
dnn框架：cnn~图片理解~vgg、resnet
rnn~语言理解~multimodal-rnn、lstm~一个就够、gru~一个就够
特殊功能模块~attention
show and tell模型：
from google，cnn+lstm
--》
cnn采用inception v3生成图片特征，cnn特征作为第一个词，句子中的词作为后续序列
特征映射矩阵：将文本映射到图片特征空间 ~lstm单元的输入
文本编码是one-hot ~ 45万个次，哪个词对应位置就为 1
beam search：尺寸为1即为贪心算法，show and tell模型中尺寸为3，每一步获取top3概率的词作为备选
注意机制的cnn特征：SAT即show，attention，tell模型
--》
在show and tell的基础上增加第三输入即基于attention的图片特征
vgg最后卷积层输出14*14*512 -》196*512（拉伸排列），512列是特征数量
特征融合：每个权重（由权重推断得到，softmax）w1-w196会和每一个特征相乘，最终得到1*512
代码：
# TFRecord文件中的shards数量 ~一个shard相当于一个数据组切片文件，一个切片对应一个tf文件~train数据拆分成256个tf文件，即256个shard
tf.flags.DEFINE_string("unknown_word", "<UNK>",
"Special word meaning 'unknown'.") ~如低频词就不放入词典，设为UNK
# 图片集Metadata类型定义 .metadata
# 关闭写文件器writer.close()
sys.stdout.flush() ~写到磁盘
caption data是jason文件，解析-》id，filename
一个id即一个图片对应5个caption
metadata数据列表转为tfrecords文件：
将图片复制5个，每个caption一个
16万数据，8个线程，每个线程负责两万数据，traing 256个tfrecords，每个线程需要生成32个，且2万个数据集，生成的文件格式train-0001-of-00256，训练集-第几个-of-共多少
生成tf.train.Features对象：_int64_feature，_bytes_feature分别为整形、字符串编码
tf.contrib.slim函数接口
图片扭曲：扭曲的方式与线程奇数偶数有关，包括扭曲饱和度等
mask记录了那些Input seqs和target seqs用到的位置，这样在后续乘法中浮点数乘法在mask=0 的位置就直接不计算
https://blog.csdn.net/chengshuhao1991/article/details/78656724
https://blog.csdn.net/xierhacker/article/details/72357651
构造每个样本的Example协议块
tf.train.Feature(**options) ，options可以选择如下三种格式数据：
bytes_list = tf.train.BytesList(value = [Bytes])
int64_list = tf.train.Int64List(value = [Value])
float_list = tf.trian.FloatList(value = [Value])
从JSON文件中读取图片的metadata数据：
metadate-描述数据的数据，也叫 元数据 通常我们身边的所有文件 图片、视频、word文档 等等等 都包含了元数据 。
configuration：
# 每个TFRecord文件的大约数量
self.values_per_input_shard = 2300
# Minimum number of shards to keep in the input queue.
# 输入队列的最少shards数量
self.input_queue_capacity_factor = 2
math.ceil(x) 函数返回一个大于或等于 x 的的最小整数
perplexity = math.exp(sum_losses / sum_weights)
tf.logging.info("Perplexity = %f (%.2g sec)", perplexity, eval_time)
参考
https://blog.csdn.net/shenxiaolu1984/article/details/51493673