《深入浅出图神经网络：GNN原理解析》

深入浅出图神经网络：GNN原理解析

https://cread.jd.com/read/startRead.action?bookId=30567027&readType=1

作者:ZZU_chenhao 仅仅是一名普通的研究生而已。 原创 【学习日记】《深入浅出：图神经网络》：第四天---表示学习 表示学习 表示，通俗的理解就是特征。 表示学习是指可以自动的从数据中去学习“有用”的特征，并可以直接用于后续的具体任务的方法。 1. 表示学习 1.1 表示学习的意义 机器学习算法的性能严重依赖于特征，因此在传统机器学习中，大部分的工作都在于数据的处理和转换上，以期得到好的特征使得机器学习算法更有效。 这样的特征工程是十分费力的，因为这种方法没有能力从数据中去获得有用的知识，而特征工程的目的则... 2020-01-13 15:55:45 1750 5 原创 【学习日记】《深入浅出：图神经网络》：第三天---卷积神经网络 卷积神经网络 1. 卷积与池化 1.1 图像中的卷积 我们以图像为例来直观的理解卷积。 计算机中的图像通常都是按照像素点以离散的形式存储的，可以用一个二维或三维的矩阵来表示。假设对于一个二维的图像X∈R^ (HxW)，卷积核为G∈R ^ (kxk)，通常K为奇数。 则有，先将卷积核旋转180度，然后在输入中的对应位置取一个大小为k*k的区域，与旋转后的卷积核求内积，得到对应位置的输出。 1.... 2020-01-13 10:10:52 497 0 原创 【学习日记】《深入浅出：图神经网络》：第二天---神经网络基础 神经网络基础 1. 机器学习基本概念 1.1 机器学习分类 根据训练数据是否带有标签，可以分为： 监督学习 指的是训练数据中每个样本都有标签，通过标签可以指导模型进行学习，学到具有判别性的特征，从而对未知样本进行预测。 无监督学习 指的是训练数据完全没有标签，通过算法从数据中发现一些数据之间的约束关系，比如数据之间的关联、距离关系等。 半监督学习 指的是介于监督学习与无监督学习之间... 2020-01-10 10:33:01 1677 1 原创 【学习日记】《深入浅出：图神经网络》：第一天---图的概述 图的概述 1. 图的基本定义 图由顶点（Vertex）以及连接顶点的边（Edge）构成。其中，顶点表示研究的对象，边表示两个对象之间特定的关系。 图可以表示为顶点和边的集合，记为G=（V，E） 同时，我们设图G的顶点数为N，边数为M。 1.1 图的基本类型 可以分为： 有向图和无向图 加权图和非加权图 连通图和非连通图 二部图 其中，二部图指的是：我们将G中的顶点集合V拆分成两个子集A和B，... 2020-01-09 16:35:14 1500 0

• 目录

• 封面

• 版权信息

• 前言

• 第1章 图的概述

• 1.1 图的基本定义

• 1.1.1 图的基本类型

• 1.1.2 邻居和度

• 1.1.3 子图与路径

• 1.2 图的存储与遍历

• 1.2.1 邻接矩阵与关联矩阵

• 1.2.2 图的遍历

• 1.3 图数据的应用场景

• 1.4 图数据深度学习

• 1.5 参考文献

• 第2章 神经网络基础

• 2.1 机器学习基本概念

• 2.1.1 机器学习分类

• 2.1.2 机器学习流程概述

• 2.1.3 常见的损失函数

• 2.1.4 梯度下降算法

• 2.2 神经网络

• 2.2.1 神经元

• 2.2.2 多层感知器

• 2.3 激活函数

• 2.3.1 S型激活函数

• 2.3.2 ReLU及其变种

• 2.4 训练神经网络

• 2.4.1 神经网络的运行过程

• 2.4.2 反向传播

• 2.4.3 优化困境

• 2.5 参考文献

• 第3章 卷积神经网络

• 3.1 卷积与池化

• 3.1.1 信号处理中的卷积

• 3.1.2 深度学习中的卷积操作

• 3.1.3 池化

• 3.2 卷积神经网络

• 3.2.1 卷积神经网络的结构

• 3.2.2 卷积神经网络的特点

• 3.3 特殊的卷积形式

• 3.1.1 1×1卷积

• 3.3.2 转置卷积

• 3.3.3 空洞卷积

• 3.3.4 分组卷积

• 3.3.5 深度可分离卷积

• 3.4 卷积网络在图像分类中的应用

• 3.4.1 VGG

• 3.4.2 Inception系列

• 3.4.3 ResNet

• 3.5 参考文献

• 第4章 表示学习

• 4.1 表示学习

• 4.1.1 表示学习的意义

• 4.1.2 离散表示与分布式表示

• 4.1.3 端到端学习是一种强大的表示学习方法

• 4.2 基于重构损失的方法—自编码器

• 4.2.1 自编码器

• 4.2.2 正则自编码器

• 4.2.3 变分自编码器

• 4.3 基于对比损失的方法—Word2vec

• 4.4 参考文献

• 第5章 图信号处理与图卷积神经网络

• 5.1 矩阵乘法的三种方式（https://baike.baidu.com/item/%E7%9F%A9%E9%98%B5%E4%B9%98%E6%B3%95）

• 5.2 图信号与图的拉普拉斯矩阵

• 5.3 图傅里叶变换

• 5.4 图滤波器（https://www.cnblogs.com/pingwen/p/12442257.html）

• 5.4.1 空域角度

• 5.4.2 频域角度

图像频域滤波与傅里叶变换 1、频率滤波 图像的空间域滤波：用各种模板直接与图像进行卷积运算，实现对图像的处理，这种方法直接对图像空间操作，操作简单。图像处理不仅可以在空间域进行还可以在频率域进行，把空间域的图像开窗卷积形式，变换得到频率域的矩阵点乘形式得到比较好的效果。图像频域滤波，先把图像转换到频域空间，然后对不同的频率点进行滤波，使用信号处理的技术，对图像实现滤波。比如实现图像的轮廓提取，在空间域滤波中我们使用一个拉普拉斯模板就可以提取，而在频域内，我们使用一个高通滤波模板，可以实现轮廓的提取。

• 5.5 图卷积神经网络

• 5.6 GCN实战

• 5.7 参考文献

• 第6章 GCN的性质

• 6.1 GCN与CNN的联系

因此，卷积给我们的感觉是，可以提取一类特定的特征信号，比如边缘特征、高频纹理特征等等。但是 CNN 是很多层的，提取了一层特征后的 feature map 上再来一次卷积得到的是什么特征呢？还有 GCN 这类非图像数据，又该如何理解这个提取的特征信号的？  https://zhuanlan.zhihu.com/p/142640571

• 6.2 GCN能够对图数据进行端对端学习

https://zhuanlan.zhihu.com/p/37091549 （通俗易懂）
GCN模型同样具备深度学习的三种性质： 1、层级结构（特征一层一层抽取，一层比一层更抽象，更高级）； 2、非线性变换 （增加模型的表达能力）； 3、端对端训练（不需要再去定义任何规则，只需要给图的节点一个标记，让模型自己学习，融合特征信息和结构信息。）   GCN四个特征： 1、GCN 是对卷积神经网络在 graph domain 上的自然推广。 2、它能同时对节点特征信息与结构信息进行端对端学习，是目前对图数据学习任务的最佳选择。 3、图卷积适用性极广，适用于任意拓扑结构的节点与图。 4、在节点分类与边预测等任务上，在公开数据集上效果要远远优于其他方法。

• 6.3 GCN是一个低通滤波器 （见：《GCN 为什么是低通滤波器？具体在干啥？》  ）

• 6.4 GCN的问题—过平滑（见：《如何解决图神经网络（GNN）训练中过度平滑的问题？》）

• 6.5 参考文献

• 第7章 GNN的变体与框架

• 7.1 GraphSAGE

• 7.1.1 采样邻居

• 7.1.2 聚合邻居

• 7.1.3 GraphSAGE算法过程

• 7.2 GAT

• 7.2.1 注意力机制

• 7.2.2 图注意力层

• 7.2.3 多头图注意力层

• 7.3 R-GCN

• 7.3.1 知识图谱

• 7.3.2 R-GCN

• 7.4 GNN的通用框架

• 7.4.1 MPNN

• 7.4.2 NLNN

• 7.4.3 GN

• 7.5 GraphSAGE实战

• 7.6 参考文献

• 第8章 图分类

• 8.1 基于全局池化的图分类

• 8.2 基于层次化池化的图分类

• 8.2.1 基于图坍缩的池化机制

• 8.2.2 基于TopK的池化机制

• 8.2.3 基于边收缩的池化机制

• 8.3 图分类实战

• 8.4 参考文献

• 第9章 基于GNN的图表示学习

• 9.1 图表示学习

• 9.2 基于GNN的图表示学习

• 9.2.1 基于重构损失的GNN

• 9.2.2 基于对比损失的GNN

• 9.3 基于图自编码器的推荐系统

• 9.4 参考文献

• 第10章 GNN的应用简介

• 10.1 GNN的应用简述

• 10.2 GNN的应用案例

• 10.2.1 3D视觉

• 10.2.2 基于社交网络的推荐系统

• 10.2.3 视觉推理

• 10.3 GNN的未来展望

• 10.4 参考文献

• 附录A 符号声明