NN初始化
https://github.com/TingsongYu/PyTorch_Tutorial
PyTorch 学习笔记（四）：权值初始化的十种方法
十种方法
--> 正交初始化？conjugate？L1 正则初始化选择？
kaiming：“方差一致性” --> 每一步都保证稀疏，类似 LP 进基出基？
第二章2.3 模型finetune：—— map、filter 函数的使用值得借鉴
id() 函数返回对象的唯一标识符，标识符是一个整数。
CPython 中 id() 函数用于获取对象的内存地址。
# 将fc3层的参数从原始网络参数中剔除
ignored_params = list(map(id, net.fc3.parameters()))
base_params = filter(lambda p: id(p) not in ignored_params, net.parameters())
# 为fc3层设置需要的学习率
optimizer = optim.SGD([
{'params': base_params},
{'params': net.fc3.parameters(), 'lr': lr_init*10}], lr_init, momentum=0.9, weight_decay=1e-4)
PyTorch的hook及其在Grad-CAM中的应用
目录 hook简介 PyTorch的四个hook 1. torch.Tensor.register_hook(hook) 2. torch.nn.Module.register_forward_hook 3.…
PyTorch 学习笔记（八）：PyTorch的六个学习率调整方法
本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击： 在模型训练的优化部分，调整最多的一个参数就是学习率，合理的学习率可以使优化器快速收敛。 一般在训练初期给予较大的学习率，随着训练的进行，学习率逐渐减小。学习率什么时候减小，减小多少，这就涉及到学习率调整方法。pytorch中提供了六种方法供大家使用，…
PyTorch 学习笔记（七）：PyTorch的十个优化器
本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击： PyTorch提供了十种优化器，在这里就看看都有哪些优化器。 1 torch.optim.SGD class torch.optim.SGD(params, lr=<object object>, momentum=0, dampening=…
PyTorch 学习笔记（六）：PyTorch的十八个损失函数
本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击： 版权声明：本文为博主原创文章，转载请附上博文链接！ 我们所说的优化，即优化网络权值使得损失函数值变小。但是，损失函数值变小是否能代表模型的分类/回归精度变高呢？那么多种损失函数，应该如何选择呢？请来了解PyTorch中给出的十七种损失函数吧。 1.L1l…
PyTorch 学习笔记（五）：Finetune和各层定制学习率
本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击：https://github.com/tensor-yu/PyTorch_Tutorial @[toc] 我们知道一个良好的权值初始化，可以使收敛速度加快，甚至可以获得更好的精度。而在实际应用中，我们通常采用一个已经训练模型的模型的权值参数作为我们模型…
PyTorch 学习笔记（四）：权值初始化的十种方法
pytorch在torch.nn.init中提供了常用的初始化方法函数，这里简单介绍，方便查询使用。 介绍分两部分： 1. Xavier，kaiming系列； 2. 其他方法分布 Xavier初始化方法，论文在《Understanding the difficulty of training deep feedforward…
PyTorch 学习笔记（三）：transforms的二十二个方法
本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击：https://github.com/tensor-yu/PyTorch_Tutorial 本文对transforms.py中的各个预处理方法进行介绍和总结。主要从官方文档中总结而来，官方文档只是将方法陈列，没有归纳总结，顺序很乱，这里总结一共有四…
PyTorch 学习笔记（二）：PyTorch的数据增强与数据标准化
本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击：https://github.com/tensor-yu/PyTorch_Tutorial 在实际应用过程中，我们会在数据进入模型之前进行一些预处理，例如数据中心化(仅减均值)，数据标准化(减均值，再除以标准差)，随机裁剪，旋转一定角度，镜像等一系列操作。PyTorch有一系列数据增强方法供大…
PyTorch 学习笔记（一）：让PyTorch读取你的数据集
本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击：https://github.com/tensor-yu/PyTorch_Tutorial 想让PyTorch能读取我们自己的数据，首先要了解pytroch读取图片的机制和流程，然后按流程编写代码。 Dataset类 PyTorch读取图片，主要是通过…