zoukankan      html  css  js  c++  java
  • scipy.sparse的一些整理

    一、scipy.sparse中七种稀疏矩阵类型

    1、bsr_matrix:分块压缩稀疏行格式

    • 介绍

      BSR矩阵中的inptr列表的第i个元素与i+1个元素是储存第i行的数据的列索引以及数据的区间索引,即indices[indptr[i]:indptr[i+1]]为第i行元素的列索引,data[indptr[i]: indptr[i+1]]为第i行元素的data。

      在下面的例子中,对于第0行,indptr[0]:indptr[1] -> 0:2,因此第0行的列为indice[0:2]=[0,2],data为data[0:2]=array([[[1, 1],[1, 1]],[[2, 2],[2, 2]]]),对应的就是最后结果的第0,1行。

    • 优点

      和压缩稀疏行格式(CSR)很相似,但是BSR更适合于有密集子矩阵的稀疏矩阵,分块矩阵通常出现在向量值有限的离散元中,在这种情景下,比CSR和CSC算术操作更有效。

    • 示例

    indptr = np.array([0, 2, 3, 6])
    indices = np.array([0, 2, 2, 0, 1, 2])
    data = np.array([1, 2, 3, 4, 5, 6]).repeat(4).reshape(6, 2, 2)
    bsr_mat=bsr_matrix((data,indices,indptr), shape=(6, 6)).toarray()
    
    输出:
    '''
    [[1 1 0 0 2 2]
     [1 1 0 0 2 2]
     [0 0 0 0 3 3]
     [0 0 0 0 3 3]
     [4 4 5 5 6 6]
     [4 4 5 5 6 6]]
    '''

    2、coo_matrix是可以根据行和列索引进行data值的累加

    • 介绍

      坐标形式的一种稀疏矩阵。采用三个数组row、col和data保存非零元素的信息。这三个数组的长度相同,row保存元素的行,col保存元素的列,data保存元素的值。许多稀疏矩阵的数据都是采用这种格式保存在文件中的,例如某个CSV文件中可能有这样三列:“用户ID,商品ID,评价值”。采用numpy.loadtxt或pandas.read_csv将数据读入之后,可以通过coo_matrix快速将其转换成稀疏矩阵:矩阵的每行对应一位用户,每列对应一件商品,而元素值为用户对商品的评价。

    • 优点

      便利快捷的在不同稀疏格式间转换;允许重复录入,允许重复的元素;从CSRCSC格式转换非常快速。

    • 缺点

      不能直接进行科学计算和切片操作;不支持元素的存取和增删,一旦创建之后,除了将之转换成其它格式的矩阵,几乎无法对其做任何操作和矩阵运算。

    row  = np.array([0, 0, 1, 3, 1, 0, 0])
    col  = np.array([0, 2, 1, 3, 1, 0, 0])
    data = np.array([1, 1, 1, 1, 1, 1, 1])
    coo_mat=coo_matrix((data, (row, col)), shape=(4, 4)).toarray()
    输出:
    '''
    [[3 0 1 0]
     [0 2 0 0]
     [0 0 0 0]
     [0 0 0 1]]
    '''

    3、csc_matrix

    • 介绍

      csc_matrix的初始化方法可以是bsr_matrix的初始化方法,也可以是coo_matrix的初始化方法

    • 优缺点:

      高效的CSC +CSC, CSC * CSC算术运算;高效的列切片操作。但是矩阵内积操作没有CSR, BSR快;行切片操作慢(相比CSR);稀疏结构的变化代价高(相比LIL 或者 DOK)。

    row  = np.array([0, 0, 1, 3, 1, 0, 0])
    col  = np.array([0, 2, 1, 3, 1, 0, 0])
    data = np.array([1, 1, 1, 1, 1, 1, 1])
    csc_mat=csc_matrix((data, (row, col)), shape=(4, 4)).toarray()
    输出:
    '''
    [[3 0 1 0]
     [0 2 0 0]
     [0 0 0 0]
     [0 0 0 1]]
    '''

    4、csr_matrix

    • 介绍

      csr_matrix的初始化与csc_matrix一致。

    • 优缺点

      高效的CSR + CSR, CSR *CSR算术运算;高效的行切片操作;高效的矩阵内积内积操作。但是列切片操作慢(相比CSC);稀疏结构的变化代价高(相比LIL 或者 DOK)。CSR格式在存储稀疏矩阵时非零元素平均使用的字节数(Bytes per Nonzero Entry)最为稳定(float类型约为8.5,double类型约为12.5)。CSR格式常用于读入数据后进行稀疏矩阵计算。

    row  = np.array([0, 0, 1, 3, 1, 0, 0])
    col  = np.array([0, 2, 1, 3, 1, 0, 0])
    data = np.array([1, 1, 1, 1, 1, 1, 1])
    csr_mat=csr_matrix((data, (row, col)), shape=(4, 4)).toarray()
    输出:
    '''
    [[3 0 1 0]
     [0 2 0 0]
     [0 0 0 0]
     [0 0 0 1]]
    '''

    5、dia_matrix

    • 介绍

      data定义对角线元素,在这里是[1,2,3,4]。

      offsets定义对角线的偏移量,0代表正对角线,正数代表往上偏移,负数代表往下偏移。

    • 优缺点

      对角存储格式(DIA)和ELL格式在进行稀疏矩阵-矢量乘积(sparse matrix-vector products)时效率最高,所以它们是应用迭代法(如共轭梯度法)解稀疏线性系统最快的格式;DIA格式存储数据的非零元素平均使用的字节数与矩阵类型有较大关系,适合于StructuredMesh结构的稀疏矩阵(float类型约为4.05,double类型约为8.10)。对于Unstructured Mesh以及Random Matrix,DIA格式使用的字节数是CSR格式的十几倍。

    data = np.array([[1, 2, 3, 4]]).repeat(3, axis=0)
    offsets = np.array([0, -1, 2])
    dia_mat=dia_matrix((data, offsets), shape=(4, 4)).toarray()
    输出:
    '''
    [[1 0 3 0]
     [1 2 0 4]
     [0 2 3 0]
     [0 0 3 4]]
    '''

    6、dok_matrix

    • 介绍

      dok_matrix从dict继承,它采用字典保存矩阵中不为0的元素:字典的键是一个保存元素(行,列)信息的元组,其对应的值为矩阵中位于(行,列)中的元素值。

    • 优缺点

      显然字典格式的稀疏矩阵很适合单个元素的添加、删除和存取操作。通常用来逐渐添加非零元素,然后转换成其它支持快速运算的格式。

    S = dok_matrix((5, 5), dtype=np.int)
    for i in range(5):
        for j in range(5):
            S[i, j] = i + j
    输出:
    '''
    [[0 1 2 3 4]
     [1 2 3 4 5]
     [2 3 4 5 6]
     [3 4 5 6 7]
     [4 5 6 7 8]]
    '''

    7、lil_matrix

    • 介绍

      基于行连接存储的稀疏矩阵。lil_matrix使用两个列表保存非零元素。data保存每行中的非零元素,rows保存非零元素所在的列。

    • 优缺点

      这种格式也很适合逐个添加元素,并且能快速获取行相关的数据。

    l = lil_matrix((6,5))
    l[2,3] = 1
    l[3,4] = 2
    l[3,2] = 3
    print (l.toarray())
    print(l.data)
    print(l.rows)
    
    输出
    '''
    [[0. 0. 0. 0. 0.]
     [0. 0. 0. 0. 0.]
     [0. 0. 0. 1. 0.]
     [0. 0. 3. 0. 2.]
     [0. 0. 0. 0. 0.]
     [0. 0. 0. 0. 0.]]
    [list([]) list([]) list([1.0]) list([3.0, 2.0]) list([]) list([])]
    [list([]) list([]) list([3]) list([2, 4]) list([]) list([])]

    二、scipy.sparse中的矩阵函数

      下面我只列出比较有用的函数,其他的函数可以参见scipy.sparse官网。

    构造函数

    • eye(m[, n, k, dtype, format]):对角线为1的稀疏矩阵
    • identity(n[, dtype, format]):单位矩阵
    • diags(diagonals[, offsets, shape, format, dtype]):构造对角矩阵(含偏移量)
    • spdiags(data, diags, m, n[, format]):从矩阵中返回含偏移量的对角稀疏矩阵
    • hstack(blocks[, format, dtype]) Stack sparse matrices horizontally (column wise) :在竖直方向上堆叠
    • vstack(blocks[, format, dtype]) Stack sparse matrices vertically (row wise):在水平方向上平铺

    判别函数

    • issparse(x):x是否为sparse类型
    • isspmatrix(x):x是否为sparse类型
    • isspmatrix_csc(x):x是否为csc_matrix类型
    • isspmatrix_csr(x):x是否为csr_matrix类型
    • isspmatrix_bsr(x):x是否为bsr_matrix类型
    • isspmatrix_lil(x):x是否为lil_matrix类型
    • isspmatrix_dok(x):x是否为dok_matrix类型
    • isspmatrix_coo(x):x是否为coo_matrix类型
    • isspmatrix_dia(x):x是否为dia_matrix类型

    其他有用函数

    • save_npz(file, matrix[, compressed]):以.npz格式保存稀疏矩阵
    • load_npz(file):导入.npz格式的稀疏矩阵
    • find(A):返回稀疏矩阵A中的非零元的位置以及数值

    scipy.sparse中的作用在矩阵的内函数

      下面的函数只针对csr_matrix列出,其他稀疏矩阵格式的函数也类似,具体可以查看对应稀疏矩阵的说明文档下面的函数说明部分。

    针对元素的函数

      内函数中有很多作用在矩阵元素的函数,下面列出一些函数。- arcsin():每个元素进行arcsin运算

      - floor():每个元素进行floor运算

      - sqrt():每个元素进行sqrt运算

      - maximum(other):比较稀疏矩阵与other矩阵的每个元素,返回最大值

    转化函数

    • todense([order, out]):返回稀疏矩阵的np.matrix形式
    • toarray([order, out]):返回稀疏矩阵的np.array形式
    • tobsr([blocksize, copy]):返回稀疏矩阵的bsr_matrix形式
    • tocoo([copy]):返回稀疏矩阵的coo_matrix形式
    • tocsc([copy]):返回稀疏矩阵的csc_matrix形式
    • tocsr([copy]):返回稀疏矩阵的csr_matrix形式
    • todia([copy]):返回稀疏矩阵的dia_matrix形式
    • todok([copy]):返回稀疏矩阵的dok_matrix形式
    • tolil([copy]):返回稀疏矩阵的lil_matrix形式

    其他函数

    • get_shape():返回稀疏矩阵的维度max([axis, out]):返回稀疏矩阵沿着某个轴的最大值
    • reshape(self, shape[, order, copy]):将稀疏矩阵的维度重构
    • diagonal([k]):返回第k个对角元素,但是在我的python3版本中k不起作用。
    • dot(other):与other矩阵的矩阵乘法

    ————————————————
    参考文献:

    https://blog.csdn.net/qq_33466771/article/details/80304498

    https://blog.csdn.net/ChenglinBen/article/details/84424379

    https://www.cnblogs.com/YangZnufe/p/8413374.html

    https://blog.csdn.net/CY_TEC/article/details/106074237

  • 相关阅读:
    fatal error C1189: #error : Building MFC application with /MD[d] (CRT dll version) requires MFC
    error LNK2019: 无法解析的外部符号 _Direct3DCreate9@4,该符号在函数 "long __cdecl InitD3D(struct HWND__ *)" (?InitD3D
    无法将参数 1 从“WCHAR [256]”转换为“const char *”
    WPE 过滤器 高级滤镜
    WPE 过滤器 滤镜 用法
    Easy2game使用
    JMeter Concurrency Thread Group阶梯式加压
    Selenium页面工厂+数据驱动测试框架
    讨伐Cucumber行为驱动
    Selenium LoadableComponent加载组件
  • 原文地址:https://www.cnblogs.com/SupremeBoy/p/12952735.html
Copyright © 2011-2022 走看看