爬虫 数据分析 numpy

数据分析：是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律

数据分析三剑客：Numpy,Pandas,Matplotlib

NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。

创建

# 创建ndarry
# 创建一维数组

import numpy as np

# np.array([1,2,3])

# 创建二维数组
np.array([[1,2,3],[4,5,6]])

np.array([[1,2,3.3],[4,5,6]])


numpy默认ndarray的所有元素的类型是相同的
如果传进来的列表中包含不同的类型，则统一为同一类型，优先级：str>float>int

import matplotlib.pyplot as plt

img_arr=plt.imread('./cat.jpg')

plt.imshow(img_arr)


plt.imshow(img_arr-100)

使用np的routines函数创建

# np.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None) 等差数列

np.linspace(0,100,num=20)

# np.arange([start, ]stop, [step, ]dtype=None)

np.arange(0,100,step=10)


# np.random.randint(low, high=None, size=None, dtype='l')
np.random.seed(10)  #随机因子/时间种子
np.random.randint(0,100,size=(4,3))

ndarray的属性

 

4个必记参数： ndim：维度            shape：形状          （各维度的长度） size：总长度          dtype：元素类型

img_arr.ndim

img_arr.shape


img_arr.size

img_arr.dtype


type(img_arr)

ndarray的基本操作

# 根据索引修改数据
arr[[1,2]]

arr[1]

arr[[1,2],[1,2]]


arr[1,4]

行  列

切片  索引

# 切片
# 行
# arr[0:2]
# 列
# arr[:,0:2]  #arr[hang,lie]
# arr[0:2,0:2]

# 数据反转

# 数组按照行反转
# arr[: : -1]
# 数组按照列反转
# arr[:,: : -1]

# 全部反转
arr[::-1,::-1]

# 将图片进行倒置操作
# plt.imshow(img_arr[::-1,::-1])
# 裁剪
# plt.imshow(img_arr[115:340,145:580,:])

变形 

 使用arr.reshape()函数，注意参数是一个tuple！

# 变形
# 一维数组变多维数组，多维数组变一维数组
arr=np.random.randint(1,100,size=(5,6))
arr
# arr.reshape(2,15,1)
# arr.reshape(2,-1)
# l=arr.reshape(15,-1)

级联:就是对多个numpy数据进行横向或者纵向的拼接

• np.concatenate()

一维，二维，多维数组的级联，实际操作中级联多为二维数组

合并两张照片

np.concatenate((arr,arr),axis=0) #axis=0 列  1行


arr_3 = np.concatenate((img_arr,img_arr,img_arr),axis=1)
arr_9 = np.concatenate((arr_3,arr_3,arr_3),axis=0)
plt.imshow(arr_9)

ndarray 的聚合操作

 

求和 np.sum    arr.sum(axis=1)

最大最小值：np.max/ np.min

平均值：np.mean()

 其他聚合操作

Function Name    NaN-safe Version    Description
np.sum    np.nansum    Compute sum of elements
np.prod    np.nanprod    Compute product of elements
np.mean    np.nanmean    Compute mean of elements
np.std    np.nanstd    Compute standard deviation
np.var    np.nanvar    Compute variance
np.min    np.nanmin    Find minimum value
np.max    np.nanmax    Find maximum value
np.argmin    np.nanargmin    Find index of minimum value
np.argmax    np.nanargmax    Find index of maximum value
np.median    np.nanmedian    Compute median of elements
np.percentile    np.nanpercentile    Compute rank-based statistics of elements
np.any    N/A    Evaluate whether any elements are true
np.all    N/A    Evaluate whether all elements are true
np.power 幂运算

 

快速排序

np.sort()与ndarray.sort()都可以，但有区别