zoukankan      html  css  js  c++  java
  • 深度学习模型训练过程

    机器学习中的两大类参数:

    超参数:在模型训练之前需要设置的参数,而不是通过训练得到的参数数据。比如:学习率,深层神经网络隐藏层数。

    模型参数:模型要学习的参数,比如:权重W和偏置b,其是在网络训练过程中自动学习和更新。

    前向算法:从网络输入到网络最终输出的过程称为前向算法。

    反向传播算法(BP):模型参数学习的方法,由Hinton等人提出。用来解决网络优化问题,通过调节输出层的结果和真实值之间的偏差来进行逐层调节参数。该学习过程是一个不断迭代的过程。

    损失函数(LOSS):神经网络模型参数学习的目标函数。常见损失函数由交叉熵损失函数

     

    无论是图级、边级、节点级任务,都可以在一个GNN模型中完成。

    图级任务是预测整个图的属性;跟据图结构来分类,问题是我所对图的分类是强加的标签,但是会使他们有相同结构,能够区分开来,是没问题的。

      类比于图像:预测图像的标签;类比于文本:预测一个句子的情绪。

    节点级任务是预测图中每个节点的身份及角色。

      类比于图像:图像分割,试图标记图像中每个像素的作用;类比文本,预测句子中每个单词的词类(如名词、动词、副词等)。

    边级任务:用于图像场景理解,预测哪些节点共享一条边,边的值;希望发现实体之间的连接:假设全连接图,通过预测值来修剪边得到稀疏图。

    使用图邻接矩阵来表示图的问题:

    1.节点很大的图得到的是稀疏的邻接矩阵。

    2.不能保证置换不变性,当节点的排列顺序改变时,图的邻接矩阵也改变,但他们却表示同一张图。

    因此可以使用邻接表来表示:

    不会记录不连通的边;节点、边可以是向量,用[n(nodes),n(nodesdim)]来表示图。

    GNN

    既然图的描述是置换不变的矩阵格式,我们将使用图神经网络(GNNs)来描述解决图预测任务。GNN是对保持图对称性(置换不变性)的图的所有属性(节点、边、全局上下文)的可优化变换。我们将使用Gilmer等人提出的消息传递神经网络框架,使用Battaglia等人介绍的图网架构原理图,构建gnn。gnn采用图进图出架构,这意味着这些模型类型接受一个图作为输入,将信息加载到它的节点、边和全局上下文中,并在不改变输入图的连通性的情况下逐步转换这些嵌入。

  • 相关阅读:
    wordpress站点更换域名了如何快速设置
    wordpress调用文章摘要,若无摘要则自动截取文章内容字数做为摘要
    宝塔https部署没成功的原因排查
    全球百大网站排行榜6月榜出炉
    深度 | 邢波教授谈人工智能科学路径:为人工智能装上「无穷动」引擎
    C++中public,protected,private派生类继承问题和访问权限问题
    谁再说Matlab速度慢,我跟谁急
    C++常用的#include头文件总结
    Visual Studio的调试技巧
    How to (seriously) read a scientific paper
  • 原文地址:https://www.cnblogs.com/zh-clara/p/15352464.html
Copyright © 2011-2022 走看看