zoukankan      html  css  js  c++  java
  • 2. RNN神经网络模型的不同结构

    1. RNN神经网络模型原理

    2. RNN神经网络模型的不同结构

    3. RNN神经网络-LSTM模型结构

    1. 前言

    RNN( Recurrent Neural Network 循环(递归)神经网络) 跟人的大脑记忆差不多。我们的任何决定,想法都是根据我们之前已经学到的东西产生的。RNN通过反向传播和记忆机制,能够处理任意长度的序列,在架构上比前馈神经网络更符合生物神经网络的结构,它的产生也正是为了解决这类问题而应用而生的。今天本文介绍RNN的几种不同的结构,有1vsN,Nvs1,NvsM等结构。

    2. 1vsN RNN结构

    输入只有一个(X),输出有多个(y_1,y_2,...,y_t)

    image

    这种1vsN结构的公式为:

    [h_t=f(UX+Wh_{t-1}+b) ]

    [y_t=softmax(Vh_t+c) ]

    应用场景:

    • 从图像生成文字(image caption),此时输入的是图像的特征,而输出的序列是一段句子。
    • 从类别生成语言或音乐等。

    3. Nvs1 RNN结构

    输入有多个(x_1,x_2,...,x_t),输出只有一个(Y)

    image

    这种1vsN结构的公式为:

    [h_t=f(Ux_t+Wh_{t-1}+b) ]

    [Y=softmax(Vh_T+c) ]

    应用场景:

    • 这种结构通常用来处理序列分类问题。如输入一段文字判别所属的类别,输入一个句子判断真情感倾向,输入一段视频并判断它的类别等等。

    4. NvsM RNN结构

    在NvsM里面我们又可以再细分,如果N=M那就是一一对应的RNN结构

    输入有多个(x_1,x_2,...,x_t),输出有多个(y_1,y_2,...,y_t)

    image

    应用场景:

    • 这种广泛的用于序列标注。

    另一种是N!=M的RNN结构

    输入有多个(x_1,x_2,...,x_n),输出有多个(y_1,y_2,...,y_m)

    如下所示:

    image

    应用场景:

    • 这种结构广泛的用于机器翻译,输入一个文本,输出另一种语言的文本。
  • 相关阅读:
    手动卸载Office2010
    css盒子模型和定位
    [转]Mysql 存储过程和函数区别
    (转载)今天面试两个人的感受
    配置apache和php mysql的一些问题
    css position[转
    drools7 (四、FactHandle 介绍)
    drools7 (三、kmodule 介绍)
    drools7 (二、agenda-group 的使用)
    drools7 (一、最简单的例子)
  • 原文地址:https://www.cnblogs.com/huangyc/p/10366792.html
Copyright © 2011-2022 走看看