zoukankan      html  css  js  c++  java
  • 使用python,pytorch求海森Hessian矩阵

      考虑一个函数$y=f( extbf{x}) (R^n ightarrow R)$,y的Hessian矩阵定义如下:

      考虑一个函数:$$f(x)=b^Tx+frac{1}{2}x^{T}Ax\其中b^T=[1,3,5], A在代码中可读,可以自定义$$ 

      求该函数在x = [0,0,0]处海森矩阵值的python代码如下:

      本代码需要用到torch.autograd包中的核心函数torch.autograd.grad。相邻随笔中有详细参考解析。大致原理是人工求导并保留了计算图,所以求二阶导很方便。如果想求解析形式的海森矩阵或许matlab中有相关的包能实现。

    import torch
    
    
    # 定义函数
    x = torch.tensor([0., 0, 0], requires_grad=True)
    b = torch.tensor([1., 3, 5])
    A = torch.tensor([[-5, -3, -0.5], [-3, -2, 0], [-0.5, 0, -0.5]])
    y = b@x + 0.5*x@A@x
    
    # 计算一阶导数,因为我们需要继续计算二阶导数,所以创建并保留计算图
    grad = torch.autograd.grad(y, x, retain_graph=True, create_graph=True)
    # 定义Print数组,为输出和进一步利用Hessian矩阵作准备
    Print = torch.tensor([])
    for anygrad in grad[0]:  # torch.autograd.grad返回的是元组
        Print = torch.cat((Print, torch.autograd.grad(anygrad, x, retain_graph=True)[0]))
    print(Print.view(x.size()[0], -1))
    

      输出结果如下:

  • 相关阅读:
    变量可变性问题
    Android 创建Listener监听器形式选择:匿名内部类?外部类?
    linux下安装zookeeper
    翻页工具类
    将哈夫曼树转化成二叉树
    Activity的启动流程分析
    题目1186:打印日期
    数据库设计--数据流图(DFD)
    c#基础之数组
    10.3.1 一个CONNECT BY的样例
  • 原文地址:https://www.cnblogs.com/chester-cs/p/11755279.html
Copyright © 2011-2022 走看看