Numpy复习

1.Jupyter notebook中的魔法命令

%run 在Jupyter中加载.py文件

先搞清楚Jupyter中文件的默认路径，修改完后再运行

import os
print(os.path.abspath('.'))

F:python_DemoCodeJuypterNotebook

%run ../fushi/P2018_1.py

导入模块（二选一即可）

import mymodule.FirstML
mymodule.FirstML.predit(1)

from mymodule import FirstML
FirstML.predit(1)

%timeit测试代码性能（会多次执行，%%time可以测试区域代码）

%timeit L=[i**2 for i in range(1000000)]

1 loop, best of 3: 459 ms per loop

%%timeit
L=[]
for i in range(1000):
    L.append(i**2)

1000 loops, best of 3: 477 µs per loop

Tip：因为%timeit会执行多次，如果后面紧跟的语句每次执行的效率差别较大的话，取平均值的意义不大。

%time执行一次计时

%time L=[i**2 for i in range(1000)]

Wall time: 486 µs

其他魔法命令：

%lsmagic显示所有魔法命令

%run? run魔法命令对应文档

2.numpy基础

list的特点：数据类型可以不同，效率较低

array的特点：数据类型相同

import array
arr=array.array('i',[i for i in range(10)])
arr
Out[7]:array('i', [0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

arr[5]=100
arr
Out[8]:array('i', [0, 1, 2, 3, 4, 100, 6, 7, 8, 9])

numpy.array的创建

import numpy as np
nparr=np.array([i for i in range(10)])
nparr
Out[9]:array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

nparr.dtype
Out[10]:dtype('int32')

nparr[5]=5.0
nparr
Out[11]:array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])    #对于整型来说，传给他浮点数会自动截位

nparr2=np.array([1,2,3.0])
nparr2.dtype
Out[13]:dtype('float64')

其他创建numpy.array的方法

ones,zeros,eye方法默认元素类型都是浮点型，full取决于后面的val类型。

np.zeros(10)
Out[14]:array([ 0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.])

np.zeros((3,5),dtype=int)          #np.zeros(shape=(3,5),dtype=int)
Out[15]: array([[0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]])

arange方法和python2中的arange方法类似，默认值是0-n-1，但是它支持步长为小数。

np.arange(10)
Out[16]:array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

np.arange(0,20,2)
Out[17]:array([ 0,  2,  4,  6,  8, 10, 12, 14, 16, 18])

np.arange(0,1,0.2)
Out[18]:array([ 0. ,  0.2,  0.4,  0.6,  0.8])

np.linspace(0,20,10)　　　　#0到20之间等间距地分成10份，包含0和20两个点

np.linspace(0,20,10)
Out[20]:
array([  0.        ,   2.22222222,   4.44444444,   6.66666667,
         8.88888889,  11.11111111,  13.33333333,  15.55555556,
        17.77777778,  20.        ])

numpy.random

random()　　　　　　　　　[0,1)之间的随机浮点数

np.random.seed(666)
np.random.randint(0,10,10)      #创建10个[0,10)之间的整数（注意前闭后开）
Out[21]:array([3, 6, 8, 6, 2, 7, 9, 2, 3, 9])
np.random.randint(4,8,size=(3,5))
Out[22]:
array([[4, 5, 5, 5, 4],
       [4, 7, 4, 6, 4],
       [7, 6, 5, 7, 4]])
np.random.random(10)　　　　　　#10是指size
Out[23]:
array([ 0.50242227,  0.17298419,  0.26348954,  0.600199  ,  0.6691488 ,
        0.39283773,  0.37043944,  0.30396405,  0.99071216,  0.65455463])

默认符合均值为0，方差为1的随机浮点数

np.random.normal(10,100,size=(3,5))
Out[26]:
array([[ -24.5258828 ,  -23.72306007,    6.88579462,  -23.29286657,   -33.32319528],
       [ -39.33190778,    2.43981867,  -30.17166951,    6.22937488,   3.79212453],
       [  22.72826743, -156.27817465,    8.43966765,  -46.36703314,   33.91110828]])

查看相关文档：

np.random.normal?可以调出normal相关文档（会开一个新页面）。

np.random?调出random模块相关文档（会开一个新页面）。

　　help(np.random.normal)

numpy.array的基本操作

numpy.array的数据访问

1.索引访问

2.切片访问

X=np.arange(15).reshape(3,5)
X
Out[27]:
array([[ 0,  1,  2,  3,  4],
       [ 5,  6,  7,  8,  9],
       [10, 11, 12, 13, 14]])

X[2,2]
Out[28]:12

X[:2,:3]
Out[29]:
array([[0, 1, 2],
          [5, 6, 7]])

X[:,:3]                            #选取某个维度用单个：
Out[30]:
array([[ 0,  1,  2],
       [ 5,  6,  7],
       [10, 11, 12]])

subX=X[:2,:3]

subX获得的是对原X的引用，对subX的操作会作用到原X中，同步变化（浅拷贝）

subX2=X[:2,:3].copy()

subX获得的是对原X的副本，对subX的操作不会作用到原X中（深拷贝）

numpy.array的数组变换

x=np.arange(10)
x
Out[31]:array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

x.reshape(2,5)
Out[32]:
array([[0, 1, 2, 3, 4],
       [5, 6, 7, 8, 9]])

x.reshape(5,-1)           #只关心第一维度5行，第二维度自动计算（能自动整除，否则报错），可赋值为-1
Out[33]:
array([[0, 1],
       [2, 3],
       [4, 5],
       [6, 7],
       [8, 9]])

矩阵的合并与分割

x=np.array([1,2,3])
y=np.array([3,2,1])
z=np.array([6,6])
np.concatenate([x,y,z])
Out[34]:
array([1, 2, 3, 3, 2, 1, 6, 6])

A=np.array([[1,2,3],
            [3,4,5]])
np.concatenate([A,A])
Out[35]:
array([[1, 2, 3],
       [3, 4, 5],
       [1, 2, 3],
       [3, 4, 5]])

np.concatenate([A,A],axis=1)          #axis表示维度，默认为0
Out[36]:
array([[1, 2, 3, 1, 2, 3],
       [3, 4, 5, 3, 4, 5]])

np.concatenate([A,x.reshape(1,-1)])　　#concatenate只能处理维数一致的情况，不一致的话要转换
Out[37]:
array([[1, 2, 3],
       [3, 4, 5],
       [1, 2, 3]])

或者采用vstack（竖直方向堆叠）
np.vstack([A,x])
Out[38]:
array([[1, 2, 3],
       [3, 4, 5],
       [1, 2, 3]])

hstack（水平方向堆叠）
B=np.array([[1,1],
            [1,1]])
np.hstack([A,B])
Out[40]:
array([[1, 2, 3, 1, 1],
       [3, 4, 5, 1, 1]])

np.split()

x=np.arange(10)
np.split(x,[3,7])         #以3或7为间隔分割
Out[41]:[array([0, 1, 2]), array([3, 4, 5, 6]), array([7, 8, 9])]

np.split(x,5)              #第二个参数为整数表示用该数平均切分，不能整除会报错
Out[42]:[array([0, 1]), array([2, 3]), array([4, 5]), array([6, 7]), array([8, 9])]

A=np.arange(16).reshape([4,4])
np.split(A,[2])             #默认是按行的维度
Out[45]:
[array([[0, 1, 2, 3],
        [4, 5, 6, 7]]), 
 array([[ 8,  9, 10, 11],
        [12, 13, 14, 15]])]

np.split(A,[2],axis=1)
Out[46]:
[array([[ 0,  1],
        [ 4,  5],
        [ 8,  9],
        [12, 13]]), 
 array([[ 2,  3],
        [ 6,  7],
        [10, 11],
        [14, 15]])]

np.vsplit(A,[2])        #上下分割
Out[47]:
[array([[0, 1, 2, 3],
        [4, 5, 6, 7]]), 
 array([[ 8,  9, 10, 11],
        [12, 13, 14, 15]])]

np.hsplit(A,[2])
Out[48]:                 #左右分割
[array([[ 0,  1],
        [ 4,  5],
        [ 8,  9],
        [12, 13]]), 
 array([[ 2,  3],
        [ 6,  7],
        [10, 11],
        [14, 15]])]

分割可以应用于分离数据的特征和标签

x,y=np.hsplit(A,[-1])
y[:,0]
Out[50]:array([ 3,  7, 11, 15])

numpy.array中的运算

一元函数：

+，-，*，/，//，**，%作用于数组的每一个元素

 

 np.power(3,x)==3**x    　　计算数组各元素的3的指数次方         

二元函数（矩阵之间的运算要保证是可以运算的）

 A*B是指对应元素相乘

A.dot(B)是数学意义上的矩阵乘法运算

 A.T是矩阵A的转置

向量和矩阵的运算

一个向量和一个矩阵做加法，这个向量和这个矩阵中的每一行做加法

A=np.arange(1,5).reshape([2,2])
v=np.array([1,2])
v+A
Out[54]:
array([[2, 4],
       [4, 6]])

np.vstack([v]*A.shape[0])  #水平方向堆叠
Out[56]:
array([[1, 2],
       [1, 2]])

np.tile(v,(2,1))           #元组(2,1)表示行向量堆叠2次，列向量堆叠1次
Out[57]:
array([[1, 2],
       [1, 2]])

v.dot(A)
Out[59]:array([ 7, 10])

A.dot(v)                     #v被看成2*1的矩阵
Out[60]:array([ 5, 11])

矩阵的逆

A 为方阵时：

A的逆=np.linalg.inv(A)

A*A的逆=单位矩阵

A=np.arange(4).reshape(2,2)
np.linalg.inv(A)
Out[61]:
array([[-1.5,  0.5],
       [ 1. ,  0. ]])

A.dot(np.linalg.inv(A))
Out[67]:
array([[ 1.,  0.],
       [ 0.,  1.]])

A非方阵时，A的伪逆矩阵=np.linalg.pinv(A)

聚合运算

 

 prod(a)                                              计算数组a中的元素之积

percentile(a,q)                                    数组中q%个元素小于等于的值（q=50时，该值等于中位数）

A=np.arange(16).reshape(4,-1)
A
Out[69]:
array([[ 0,  1,  2,  3],
       [ 4,  5,  6,  7],
       [ 8,  9, 10, 11],
       [12, 13, 14, 15]])

np.sum(A,axis=0)                 #把行压缩掉，就是对每列相加
Out[70]:array([24, 28, 32, 36])

np.sum(A,axis=1)                 #对每行相加
Out[71]:array([ 6, 22, 38, 54])

排序

sort()

A=np.random.randint(10,size=(4,4))
A
Out[73]:
array([[7, 7, 7, 0],
       [6, 2, 9, 2],
       [7, 5, 5, 0],
       [0, 5, 1, 6]])

np.sort(A,axis=1)              #默认axis=1，按行排序
Out[74]:
array([[0, 7, 7, 7],
       [2, 2, 6, 9],
       [0, 5, 5, 7],
       [0, 1, 5, 6]])

np.sort(A,axis=0)              #按列排序
Out[75]:
array([[0, 2, 1, 0],
       [6, 5, 5, 0],
       [7, 5, 7, 2],
       [7, 7, 9, 6]])

x=np.arange(16)
np.random.shuffle(x)
x
Out[77]:array([10,  9, 13, 15,  4, 11, 14,  5,  0,  3,  2,  7,  6,  8, 12,  1])

np.argsort(x)             #根据索引项排序后即为正序
Out[78]:array([ 8, 15, 10,  9,  4,  7, 12, 11, 13,  1,  0,  5, 14,  2,  6,  3], dtype=int64)

np.partition(x,4)        #一次快排的结果，4前面的元素比4小，后面的元素比4大
Out[79]:array([ 1,  0,  2,  3,  4,  5, 14,  9, 11, 15, 13,  7,  6,  8, 12, 10])

 numpy中的比较和FancyIndexing

 numpy提供对索引数组的访问

x=np.arange(16)
ind=[3,5,8]
x[ind]
Out[80]:array([3, 5, 8])

ind=np.array([[0,2],
             [1,3]])
x[ind]
Out[81]:
array([[0, 2],
       [1, 3]])

A=x.reshape(4,-1)
row=np.array([0,1,2])
col=np.array([1,2,3])       #三个点坐标分别为（0,1）（1,2）（2,3）
A[row,col]
Out[83]:array([ 1,  6, 11])

A[:2,col]
Out[84]:
array([[1, 2, 3],
       [5, 6, 7]])

对bool值进行FancyIndexing

比较运算符：<,>,<=,>=,==,!=

col=[True,False,True,True]
A[1:3,col]
Out[84]:
array([[4, 6, 7],
       [8, 10, 11]])

A<4
Out[86]:
array([[ True,  True,  True,  True],
       [False, False, False, False],
       [False, False, False, False],
       [False, False, False, False]], dtype=bool)

2*x==24-4*x
Out[87]:
array([False, False, False, False,  True, False, False, False, False,
       False, False, False, False, False, False, False], dtype=bool)

np.sum(x<=3)              #实际应用eg年龄小于4的学生个数，等价于np.count_nonzero(x <= 3)
Out[89]:4

np.sum(x%2==0)            #偶数个数（通过axis可以指定列数）
np.sum((x>3) & (x<10))    #注意中间只用位运算符
np.any(x==0)              #是否存在为0的数字，返回True
np.all(x>0)               #是否所有的数都大于0，返回False

np.sum(~(x==0))           #等价于np.sum(x!=0)
x[x<5]                    #小于5岁的学生的具体年龄
Out[94]:array([0, 1, 2, 3, 4])

A[A[:,3]%3==0,:]          #抽取出满足最后一个数3整除的行
Out[95]:
array([[ 0,  1,  2,  3],
       [12, 13, 14, 15]])