zoukankan      html  css  js  c++  java
  • 《PyTorch笔记》

    NN初始化

    https://github.com/TingsongYu/PyTorch_Tutorial

    PDF

    PyTorch 学习笔记(四):权值初始化的十种方法

    十种方法

     --> 正交初始化?conjugate?L1 正则初始化选择?

    kaiming:“方差一致性” --> 每一步都保证稀疏,类似 LP 进基出基?

    第二章2.3  模型finetune:—— map、filter 函数的使用值得借鉴

    id() 函数返回对象的唯一标识符,标识符是一个整数。

    CPython 中 id() 函数用于获取对象的内存地址。

    # 将fc3层的参数从原始网络参数中剔除
    ignored_params = list(map(id, net.fc3.parameters()))
    base_params = filter(lambda p: id(p) not in ignored_params, net.parameters())

    # 为fc3层设置需要的学习率
    optimizer = optim.SGD([
    {'params': base_params},
    {'params': net.fc3.parameters(), 'lr': lr_init*10}], lr_init, momentum=0.9, weight_decay=1e-4)


    PyTorch的hook及其在Grad-CAM中的应用

    PyTorch 学习笔记(八):PyTorch的六个学习率调整方法

    PyTorch 学习笔记(七):PyTorch的十个优化器

    PyTorch 学习笔记(六):PyTorch的十八个损失函数

    PyTorch 学习笔记(五):Finetune和各层定制学习率

    PyTorch 学习笔记(四):权值初始化的十种方法

    PyTorch 学习笔记(三):transforms的二十二个方法

    PyTorch 学习笔记(二):PyTorch的数据增强与数据标准化

    PyTorch 学习笔记(一):让PyTorch读取你的数据集

  • 相关阅读:
    [pixhawk笔记]8-半物理仿真环境
    Python超参数自动搜索模块GridSearchCV上手
    Oriented Response Networks 阅读笔记(一)
    聚类算法评价指标学习笔记
    基于sklearn的常用分类任务指标Python实现
    使用h5py库读写超过内存的大数据
    基于MXNet使用自己的图像数据集训练网络--准备数据与撰写预处理脚本
    在Ubuntu操作系统中添加环境变量
    Jetson TK1 开发板初用体会
    一条脚本搞定OpenCV
  • 原文地址:https://www.cnblogs.com/cx2016/p/13098380.html
Copyright © 2011-2022 走看看