PyTorch 下使用 Tensorboard

本文主要介绍PyTorch框架下的可视化工具Tensorboard的使用

面向第一次接触可视化工具的新手<其实是备忘>

之前用了几天visdom，用起来很方便，但是画的图显得很乱，所以花了一晚上把代码里的visdom都改成了tensorboard。

Tensorboard

安装

原本是tensorflow的可视化工具，pytorch从1.2.0开始支持tensorboard。之前的版本也可以使用tensorboardX代替。

在使用1.2.0版本以上的PyTorch的情况下，一般来说，直接使用pip安装即可。

pip install tensorboard

这样直接安装之后，有可能打开的tensorboard网页是全白的，如果有这种问题，解决方法是卸载之后安装更低版本的tensorboard。

pip uninstall tensorboard
pip install tensorboard==2.0.2

Tensorboard的使用逻辑

Tensorboard的工作流程简单来说是

• 将代码运行过程中的，某些你关心的数据保存在一个文件夹中：

这一步由代码中的writer完成

• 再读取这个文件夹中的数据，用浏览器显示出来：

这一步通过在命令行运行tensorboard完成。

代码体中要做的事

首先导入tensorboard

from torch.utils.tensorboard import SummaryWriter   

这里的SummaryWriter的作用就是，将数据以特定的格式存储到刚刚提到的那个文件夹中。

首先我们将其实例化

writer = SummaryWriter('./path/to/log')

这里传入的参数就是指向文件夹的路径，之后我们使用这个writer对象“拿出来”的任何数据都保存在这个路径之下。

这个对象包含多个方法，比如针对数值，我们可以调用

writer.add_scalar(tag, scalar_value, global_step=None, walltime=None)

这里的tag指定可视化时这个变量的名字，scalar_value是你要存的值，global_step可以理解为x轴坐标。

举一个简单的例子：

for epoch in range(100)
    mAP = eval(model)
    writer.add_scalar('mAP', mAP, epoch)

这样就会生成一个x轴跨度为100的折线图，y轴坐标代表着每一个epoch的mAP。这个折线图会保存在指定的路径下（但是现在还看不到）

同理，除了数值，我们可能还会想看到模型训练过程中的图像。

 writer.add_image(tag, img_tensor, global_step=None, walltime=None, dataformats='CHW')
 writer.add_images(tag, img_tensor, global_step=None, walltime=None, dataformats='NCHW')

可视化

我们已经将关心的数据拿出来了，接下来我们只需要在命令行运行：

tensorboard --logdir=./path/to/the/folder --port 8123

然后打开浏览器，访问地址http://localhost:8123/即可。这里的8123只是随便一个例子，用其他的未被占用端口也没有任何问题，注意命令行的端口与浏览器访问的地址同步。

如果发现不显示数据，注意检查一下路径是否正确，命令行这里注意是

--logdir=./path/to/the/folder 

而不是

--logdir= './path/to/the/folder '

另一点要注意的是tensorboard并不是实时显示（visdom是完全实时的），而是默认30秒刷新一次。

 

细节

1.变量归类

命名变量的时候可以使用形如

writer.add_scalar('loss/loss1', loss1, epoch)
writer.add_scalar('loss/loss2', loss2, epoch)
writer.add_scalar('loss/loss3', loss3, epoch)

的格式，这样3个loss就会被显示在同一个section。

2.同时显示多个折线图

假如使用了两种学习率去训练同一个网络，想要比较它们训练过程中的loss曲线，只需要将两个日志文件夹放到同一目录下，并在命令行运行

tensorboard --logdir=./path/to/the/root --port 8123

 

原文链接：https://zhuanlan.zhihu.com/p/103630393

---

1 引言

      我们都知道tensorflow框架可以使用tensorboard这一高级的可视化的工具，为了使用tensorboard这一套完美的可视化工具，未免可以将其应用到Pytorch中，用于Pytorch的可视化。这里特别感谢Github上的解决方案： https://github.com/lanpa/tensorboardX。

      本文主要是针对该解决方案提供一些介绍。

     TensorboardX支持scalar, image, figure, histogram, audio, text, graph, onnx_graph, embedding, pr_curve and videosummaries等不同的可视化展示方式，具体介绍移步至项目Github 观看详情。

---

2 环境安装

本教程代码环境依赖：

python 3.6+

Pytorch 0.4.0+

tensorboardX:   pip install tensorboardX、pip install tensorflow

---

3 代码教程

       TensorboardX可以提供中很多的可视化方式，本文主要介绍scalar 和 graph，其他类型相似。

3.1 scalar教程

 

01_scalar_base.py 代码

        对上述代码进行解释，首先导入：from tensorboardXimport SummaryWriter，然后定义一个SummaryWriter() 实例。在SummaryWriter()上鼠标ctrl+b我们可以看到SummaryWriter()的参数为：def __init__(self, log_dir=None, comment='', **kwargs): 其中log_dir为生成的文件所放的目录，comment为文件名称。默认目录为生成runs文件夹目录。我们运行上述代码：生成结果为：

 

 

      当我们为SummaryWriter(comment='base_scalar')。生成结果为：

 

 

      当我们为SummaryWriter(log_dir='scalar') 添加log_dir参数，可以看到第二条数据的文件名称包括了base_scalar值。生成结果目录为：

 

 

       接着解释writer.add_scalar('scalar/test', np.random.rand(), epoch)，这句代码的作用就是，将我们所需要的数据保存在文件里面供可视化使用。 这里是Scalar类型，所以使用writer.add_scalar()，其他的队形使用对应的函数。第一个参数可以简单理解为保存图的名称，第二个参数是可以理解为Y轴数据，第三个参数可以理解为X轴数据。当Y轴数据不止一个时，可以使用writer.add_scalars().运行代码之后生成文件之后，我们在runs同级目录下使用命令行：tensorboard --logdir runs. 当SummaryWriter(log_dir='scalar')的log_dir的参数值 存在时，将tensorboard --logdir runs 改为 tensorboard --logdir 参数值

 

 

       最后调用writer.close()。

      点击链接即可看到我们的最终需要的可视化结果。

 

可视化效果

       可以分别点击对应的图片查看详情。可以看到生成的Scalar名称为'scalar/test'与'scalar/test'一致。注：可以使用左下角的文件选择你想显示的某个或者全部图片。

3.2 Graph教程

 

02_graph_model.py 代码

       首先我们定义一个神经网络取名为Net1。然后将其添加到tensorboard可是可视化中。

with SummaryWriter(comment='Net1')as w:

         w.add_graph(model, (dummy_input,))

      我们重点关注最后两句话，其中使用了python的上下文管理，with 语句，可以避免因w.close未写造成的问题。推荐使用此方式。

       因为这是一个神经网络架构，所以使用 w.add_graph(model, (dummy_input,))，其中第一个参数为需要保存的模型，第二个参数为输入值，元祖类型。打开tensorvboard控制台，可得到如下结果。

 

 

        点击Net1部分可以将其网络展开，查看网络内部构造。

 

模型可视化结果

        其他部分可以继续一次展开查看详情。

3.3 网络训练综合教程

        解释完上述两部分知识之后，我们可以综合运用上述两部分内容，实现线性拟合的训练过程中的loss可视化和模型的保存。

 

 

 

03_linear_regression.py 代码 

        我们将运行过程中loss和model分别保存，最后打开tensorboard控制台，可以得到模型结果和loss的结果为下图.

 

模型可视化结果

        注：不同的graph的可视化可以使用上图Run旁边的下拉框选择。

 

loss可视化结果

3.4 Tensorboard综合Demo

        本Demo代码为TensorboardX提供的官方Demo代码。

 

 

 

demo.py

最终运行的所有可视化结果为：

 

最终可视化结果

4 结束语

        本文是我写的第一篇比较完整的文章，大家如果觉得帮助到了你，帮忙点个赞呗。

        本文所有的代码链接为：https://github.com/miaoshuyu/pytorch-tensorboardx-visualization（对你有用的话，麻烦点个小星星呗）

        若转载，请标明出处，谢谢！

作者：苗书宇
链接：https://www.jianshu.com/p/46eb3004beca
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。