zoukankan      html  css  js  c++  java
  • 数据分析入门——numpy类库基础知识

    numpy类库是数据分析的利器,用于高性能的科学计算和数据分析。使用python进行数据分析,numpy这个类库是必须掌握的。numpy并没有提供强大的数据分析功能,而是它提供的ndarray数据结构能够让你快速的处理海量的数据。

    shape和dtype属性

    ndarray是numpy的多维数组对象,是numpy类库中主要的数据结构,它有两个重要的属性,shape和dtype,shape是描述数组维度的元组,dtype用于说明数组数据类型。

    data = [1,2,3,4,5]
    arr1 = np.array(data)
    arr1
    Out[6]: array([1, 2, 3, 4, 5])
    arr1.shape
    Out[7]: (5,)
    arr1.dtype
    Out[8]: dtype('int32')
    

    上面代码说明可arr1是长度为5的一维数组,数据类型是int32。

    ndarray数组的数据都是整数时,数据类型是int32,当有小数时,数据类型则是float64。

    ndarray数组中的数据必须是同一类型,如果有不同类型的数据,dtype为<U11

    numpy主要用于处理数据,因此ndarray数组中的数据必须是同一数据类型,否则无法进行数学计算。

    创建ndarray

    numpy提供了array函数创建ndarray对象,array函数要传入一个list列表类型的对象。

    list1 = [1.2,2.3,4.6,7.8]
    ndarray1 = np.array(list1)
    ndarray1
    Out[22]: array([1.2, 2.3, 4.6, 7.8])
    

    传入的list列表是等长的多维列表时,创建的是多维的ndarray数组对象。

    list2 = [[1.2,2.3,4.6,7.8],[12.2,13.5,1.6,9.8]]
    ndarray2 = np.array(list2)
    ndarray2
    Out[25]: 
    array([[ 1.2,  2.3,  4.6,  7.8],
           [12.2, 13.5,  1.6,  9.8]])
    

    多维列表的长度不一致时,生成ndarray对象的数据类型dtype就变成object,不是具体的数据类型。

    list3 = [[1.2,2.3,4.6,7.8],[12.2,13.5,1.6,9.8,0.8]]
    ndarray3 = np.array(list3)
    ndarray3
    Out[28]: 
    array([list([1.2, 2.3, 4.6, 7.8]), list([12.2, 13.5, 1.6, 9.8, 0.8])],
          dtype=object)
    

    numpy还提供了zeros和ones两个方法分别用于创建值为0或者1的数组。

    使用zero方法创建数组值为0的ndarray数组:

    np.zeros(5)//创建长度为5,数组值都为0的ndarray一维数组
    np.zeros((3,4))//创建3行4列,数组值都为0的二维数组
    np.zeros((3,4,5))//创建维度为3,值为0的ndarray三维数组。
    

    只用ones方法创建数组值都为1的ndarray数组:

    np.ones(5)//创建长度为5,数组值都为1的ndarray一维数组
    np.ones((3,4))//创建3行4列,数组值都为1的二维数组
    np.ones((3,4,5))//创建维度为3,值为1的ndarray三维数组。
    

    arange()方法直接调用python内置的range()函数生成初始值为0步长为1的数组:

    data3 = np.arange(13)
    data3
    Out[12]: array([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12])
    

    empty()方法创建一个新的数组,数组值是随机生成,用于占用内存空间:

    data4 = np.empty((2,2))
    data4
    Out[20]: 
    array([[7.32086553e-315, 1.01777082e-311],
           [0.00000000e+000, 7.31249282e-315]])
    

    类型转换
    ndarray提供astype方法将数据类型转换为其他的数据类型。

    将浮点数转为整数时,会自动截取掉小数部分:

    data5 = np.array([2.2,3.4,5.6])
    data6 = data5.astype(np.int32)
    data6
    Out[23]: array([2, 3, 5])
    

    astype可以将全是数字的字符串数组转换为数值形式:

    data7 = np.array(['2.4','3.5','4.6'])
    data8 = data7.astype(np.float64)
    data8
    Out[34]: array([2.4, 3.5, 4.6])
    

    数组间的数学运算
    两个数组之间是可以进行加减乘除间的数学运算。

    两个数组之间的相加:

    data1 = np.array([1,2,3,4])
    data2 = np.array([5,6,7,8])
    data3 = data1 +data2
    data3
    Out[38]: array([ 6,  8, 10, 12])
    

    两个数组之间相减:

    data1 = np.array([1,2,3,4])
    data2 = np.array([5,6,7,8])
    data3 = data1 - data2
    data3
    Out[45]: array([-4, -4, -4, -4])
    

    两个数组之间相乘:

    data1 = np.array([1,2,3,4])
    data2 = np.array([5,6,7,8])
    data3 = data1 * data2
    data3
    Out[49]: array([ 5, 12, 21, 32])
    

    两个数组之间相除:

    data1 = np.array([1,2,3,4])
    data2 = np.array([5,6,7,8])
    data3 = data1 / data2
    data3
    Out[53]: array([0.2       , 0.33333333, 0.42857143, 0.5       ])
    

    两个数组之间进行数学运算时,数组之间的shape对象值必须一致,就是长度必须一致。否则会报ValueError: operands could not be broadcast together with shapes 的错误:

    data1 = np.array([1,2,3,4])
    data2 = np.array([5,6,7,8,9])
    data3 = data1+ data2
    

    上面的代码会报ValueError: operands could not be broadcast together with shapes (4,) (5,) 错误,data1数组的shape为(4,),data2的shape为(5,),两者不一样,无法进行数学运算。

    数组的索引和切片

    通过索引可以访问NumPy数组某个位置上的数值。数组索引从0开始,于长度-1结束:

    data1 = np.arange(10)
    data1.size
    Out[73]: 10
    data1[0]
    Out[74]: 0
    data1[9]
    Out[75]: 9
    data1[10]
    

    在上面的代码中,长度为10的一维度数组data1,索引从0开始,于9(长度10-1)结束。通过data1[9]访问到数组中的第10个元素,如果通过data1[10],则会出现IndexError: index 10 is out of bounds for axis 0 with size 10的错误,俗称数组越界。

    这是一维数组的情况,对于多维数组,要想访问某个具体元素时,必须指定这个元素在每一个维度的索引位置:

    data1 = [[[1,2,3],[4,5,6]],[[7,8,9,],[10,11,12]]]
    data1[1][1][1]
    Out[85]: 11
    

    上述代码中data1是一个2X2X3的三维数组,要想访问11,必须指定三个维度上的索引data1[1][1][1]。

    data1[1][1]返回的结果是1维的数组:

    data1[1][1]
    Out[86]: [10, 11, 12]
    

    data1[1]返回的是2维的数组:

    data1[1]
    Out[87]: [[7, 8, 9], [10, 11, 12]]
    

    data1[1][1][1]和data1[1,1,1]的效果一样,返回的数值都是11。

    NumPy提供在ndarray数组上进行切片的操作,返回的是ndarray数组的子视图。

    data1 = np.arange(10)
    data1[1:4]
    Out[91]: array([1, 2, 3])
    data1[:4]
    Out[92]: array([0, 1, 2, 3])
    data1[4:]
    Out[93]: array([4, 5, 6, 7, 8, 9])
    

    data1[1:4]切片操作返回的是从索引1开始,到索引4结束,不包括索引4的元素的数组。
    data1[:4]切片操作是从索引0开始,到索引4结束,不包括索引4的元素的数组。
    data1[4:]切片操作返回的是从索引4开始到最后一个元素的数组。

    切片操作返回的是原数组的视图,不是重新生成一个数组,通过对这个切片做赋值操作,就可以修改原数组对应索引位置上元素的数值:

    data1 = np.arange(10)
    data1[4:]=10
    data1
    Out[98]: array([ 0,  1,  2,  3, 10, 10, 10, 10, 10, 10])
    

    data1数组从索引4开始到最后一个索引9上的元素数值都变为10。

    二维及以上的多维数组,也可以支持切片操作,但是比一维数组要复杂些:

    data1 = np.array([[1,2,3],[4,5,6],[7,8,9]])
    data1
    Out[100]: 
    array([[1, 2, 3],
           [4, 5, 6],
           [7, 8, 9]])
    data1[:2]
    Out[101]: 
    array([[1, 2, 3],
           [4, 5, 6]])
    data1[:2,:2]
    Out[102]: 
    array([[1, 2],
           [4, 5]])
    data1[:2,1:]
    

    多维数组的切片,可在每个维度都进行切片操作。

    布尔型数组
    顾名思义,布尔型数组就是指数组的元素时布尔值True和False。

    变量的比较运算产生的结果是布尔型的,ndarray数组的比较运算也不例外,结果也是布尔类型的,因此可以将一个数字类型或者字符类型的ndarray数字通过比较运算转换为布尔型数组:

    data1 = np.array(['Tom','Yong','Jim','John'])
    data1 == 'Tom'
    Out[111]: array([ True, False, False, False])
    

    上面的代码首先创建一个字符类型的ndarray数组data1,接着对数组进行比较操作,data1 == 'Tom',如果数组中的元素等于'Tom',则返回True,否则返回False。

    布尔型数值一个最经常的用法是设置值:

    arr = np.random.randn(3,4)
    arr
    Out[62]: 
    array([[ 0.52428143, -1.04842533, -1.00102911, -0.86488208],
           [ 3.20965669,  0.4379931 , -0.82962251,  0.63862152],
           [-1.03235591, -1.17507334, -0.01953273, -1.13759955]])
    arr[arr<0] = 0
    arr
    Out[64]: 
    array([[0.52428143, 0.        , 0.        , 0.        ],
           [3.20965669, 0.4379931 , 0.        , 0.63862152],
           [0.        , 0.        , 0.        , 0.        ]])
    

    上面的代码是将arr数组中小于零的元素设置为0。

    数组转置
    数组转置和线性代数中矩阵转置一样。NumPy提供transpose方法和特殊属性T实现数组转置。

    data1 = np.arange(4)
    data1
    Out[71]: array([0, 1, 2, 3])
    data1.T
    Out[72]: array([0, 1, 2, 3])
    

    一维数组的转置还是数组本身。

    data1 = np.arange(14).reshape(2,7)
    data1
    Out[74]: 
    array([[ 0,  1,  2,  3,  4,  5,  6],
           [ 7,  8,  9, 10, 11, 12, 13]])
    data1.T
    Out[75]: 
    array([[ 0,  7],
           [ 1,  8],
           [ 2,  9],
           [ 3, 10],
           [ 4, 11],
           [ 5, 12],
           [ 6, 13]])
    

    二维数组的转置是将行和列对应位置的元素互相调换。

    特殊属性T只适用于一维和二维数组,对于三维以上的数组,必须使用transpose方法才可以实现数组转置。

    调用transpose方法时需要传入一个元组,用于指定按照哪些轴进行转置。元组的元素个数和数组的维度要保持一致。如果适合3维数组,那么元组个数也必须是3。

    data1 = np.arange(24).reshape(2,3,4)
    data1
    Out[107]: 
    array([[[ 0,  1,  2,  3],
            [ 4,  5,  6,  7],
            [ 8,  9, 10, 11]],
           [[12, 13, 14, 15],
            [16, 17, 18, 19],
            [20, 21, 22, 23]]])
    data1.transpose((2,1,0))
    Out[108]: 
    array([[[ 0, 12],
            [ 4, 16],
            [ 8, 20]],
           [[ 1, 13],
            [ 5, 17],
            [ 9, 21]],
           [[ 2, 14],
            [ 6, 18],
            [10, 22]],
           [[ 3, 15],
            [ 7, 19],
            [11, 23]]])
    

    上面代码先是创建一个2x3x4的三维数组,然后调用transpose((2,1,0))方法实现数组转置。data1数组的轴用数字0,1,2表示(类似三维空间中的x,y,z轴)。调用transpose((2,1,0))时,元组(2,1,0)表示将data1的第0轴和第2轴置换,1轴不变。

    数组置换返回的是源数据的视图,不会重新生成新的数组。

  • 相关阅读:
    vs.net2003里添加邮件发件人身份验证
    Linux下用PYTHON查找同名进程
    修改机器名后要修改IIS匿名访问用户
    [C#]使用MYSQL数据库
    JIRA OutOfMemoryErrors
    获取linux下当机堆栈
    python调用pipe
    [探讨]一次性工具软件
    GGSN
    三层交换机的作用
  • 原文地址:https://www.cnblogs.com/airnew/p/10432944.html
Copyright © 2011-2022 走看看