python数据分析与展示

一、Python数据分析与展示需要掌握的能力

　　数据表示

　　数据清洗

　　数据统计

　　数据展示

二、常用库

　　numpy（ndarray）、matplotlib（pyplot）、pandas（Series、DateFrame）

三、编程工具

　　使用Anaconda IDE集成开发工具

　　需要理解和掌握的工具：conda、Spyder、IPython

四、Numpy入门

　　1、数据的维度

　　维度：一组数据的组织形式。

　　一维数据：由对等关系的有序或无序数据构成，采用线性方式组织，对应列表、数组、集合等概念。

　　二维数据：有多个一维数据构成，是一维数据的组合形式，表格是典型的的二维数据，其中，表头是二维数据的一部分。

　　多维数据：由一维或二维在新维度上扩展形成。

　　高维数据：仅利用最基本的二元关系展示数据间的复杂结构，对应字典。

　　2、NumPy的数组对象：ndarray

　　介绍：NumPy是一个开源的Python科学计算库，包括：

　　　　　一个强大的N维数组对象 ndarray

　　　　　广播功能函数

　　　　　整合C/C++/Fortran代码的工具

　　　　　线性代数、傅里叶变化、随机数生成等功能。

　　　　　NumPy是Scipy、Pandas等数据处理或科学计算库的基础

　　引用：

　　　　　import numpy as np（建议使用上述约定的别名）

　　N维数组对象：ndarray

　　　　　Python已有列表类型，为什么需要一个数组对象（类型）？

　　　　　　数组对象可以去掉元素间运算所需的循环，使一位向量更像单个数据；

　　　　　　设置专门的数组对象，经过优化，可以提升这类应用的运算速度。

　　　　　N维数组对象的组成：实际数据、描述这些数据的元数据（数据维度、数据类型等）

　　　　　ndarray数组一般要求所有元素类型相同（同质），数组下表从0开始。

　　　　　ndarray在程序中的别名是：array，np.array()生成一个ndarray数组，np.array()输出成[]形式，元素有空格分割

　　　　　轴（axis）：保存数据的维度；秩（rank）：轴的数据

　　ndarray对象的属性：

　　　　.ndim（秩，即轴的数量或维度的数量）

　　　　.shape（ndarray对象的尺度，对于矩阵，n行m列）

　　　　.size（ndarray对象元素的个数，相当于.shape 中n*m的值）

　　ndrray的元素类型：bool、intc（int32或int64）、intp（int32或int64）、int8、int16、int32、int64、uint8、uint16、uint32、uint64、float16、float32、float64、complex64、complex128

　　　　.dtype（ndarray对象的元素类型）

　　　　.itemsize（ndarray对象中每个元素的大小，以字节为单位）

　　ndarray数组的创建：

　　　　从Python中的列表、元组等类型创建ndarray数组；

　　　　使用NumPy中函数创建ndarray数组，如：

　　　　　　np.arange(n)：类似range()函数，返回ndarray类型，元素从 0 到 n ‐ 1

　　　　　　np.ones(shape)：根据shape生成一个全 1数组，shape是元组类型

　　　　　　np.zeros(shape)：根据shape生成一个全 0数组，shape是元组类型

　　　　　　np.full(shape,val)：根据shape生成一个数组，每个元素值都是val

　　　　　　np.eye(n)：创建一个正方的n*n单位矩阵，对角线为 1，其余为 0

　　　　　　np.ones_like(a)：根据数组 a的形状生成一个全 1数组

　　　　　　np.zeros_like(a)：根据数组 a的形状生成一个全 0数组

　　　　　　np.full_like(a,val)：根据数组 a的形状生成一个数组，每个元素值都是val

　　　　　　np.linspace()：根据起止数据等间距地填充数据，形成数组

　　　　　　np.concatenate()：数组 np.concatenate() 将两个或多个数组合并成一个新的数组

　　　　从字节流（raw bytes）中创建ndarray数组；

　　　　从文件中读取特定格式，创建ndarray数组。

　　ndarray数组的变换：对于创建后的ndarray数组，可以对其进行维度变换和元素类型变换

　　　　a = np.ones((2,3,4), dtype=np.int32)

　　　　.reshape(shape)：不改变数组元素，返回一个shape形状的数组，原数组不变

　　　　.resize(shape)：与.reshape()功能一致，但修改原数组

　　　　.swapaxes(ax1,ax2)：将数组 n个维度中两个维度进行调换

　　　　.flatten()：对数组进行降维，返回折叠后的一维数组，原数组不变

　　　　.astype(new_type)：ndarray数组的类型变换，astype()方法一定会创建新的数组（原始数据的一个拷贝），即使两个类型一致

　　ndarray数组的索引和切片：

　　　　一维数组的索引和切片：与Python的列表类似

　　　　多维数组的索引和切换：每个维度的索引和切片使用逗号隔开

　　ndarray数组的运算：

　　　　数组与变量之间的运算：数组与标量之间的运算作用于数组的每一个元素

　　　　NumPy一元函数（对ndarray中的数据执行元素级运算的函数）：

　　　　　　np.abs(x) np.fabs(x)：计算数组各元素的绝对值

　　　　　　np.sqrt(x)：计算数组各元素的平方根

　　　　　　np.square(x)：计算数组各元素的平方

　　　　　　np.log(x) np.log10(x) np.log2(x)：计算数组各元素的自然对数、10底对数和 2底对数

　　　　　　np.ceil(x) np.floor(x)：计算数组各元素的ceiling值 或 floor 值

　　　　　　np.rint(x)：计算数组各元素的四舍五入值

　　　　　　np.modf(x)：将数组各元素的小数和整数部分以两个独立数组形式返回

　　　　　　np.cos(x) np.cosh(x) np.sin(x) np.sinh(x) np.tan(x) np.tanh(x)：计算数组各元素的普通型和双曲型三角函数

　　　　　　np.exp(x)：计算数组各元素的指数值

　　　　　　np.sign(x)：计算数组各元素的符号值，1(+), 0, ‐1( ‐ )

　　　　NumPy二元函数：

　　　　　　+ ‐ * / **：两个数组各元素进行对应运算

　　　　　　np.maximum(x,y) np.fmax() np.minimum(x,y) np.fmin()：元素级的最大值 /最小值计算

　　　　　　np.mod(x,y)：元素级的模运算

　　　　　　np.copysign(x,y)：将数组 y中各元素值的符号赋值给数组 x对应元素

　　　　　　> < >= <= == !=：算术比较，产生布尔型数组

　　3、Numpy数据存取

　　　　数据的CSV文件存取：（CSV只能有效存储一维和二维数组）

　　　　　　CSV：逗号分隔值

　　　　　　np.savetxt(frame, array, fmt="%.18e", delimiter=None)

　　　　　　　　frame：文件、字符串或产生器，可以是.gz或.bz2的压缩文件

　　　　　　　　array：存入文件的数组

　　　　　　　　fmt：写入文件的格式，例如：%d %.2f %.18e

　　　　　　　　delimiter：分割字符串，默认是任何空格（CSV文件是逗号）

　　　　　　np.loadtxt(frame, dtype=np.float,delimiter=None,unpacke=False)

　　　　　　　　frame：文件、字符串或产生器，可以是.gz或.bz2的压缩文件

　　　　　　　　dtype：数据类型，可选

　　　　　　　　delimiter：分割字符串，默认是任何空格 

　　　　　　　　unpack：如果True，读入属性将分别写入不同变量

　　　　多维数据的存取：（下面的读取方法需要知道存入文件时数组的维度和元素类型）

　　　　　　a.tofile(frame, sep='',format="%s")

　　　　　　　　frame：文件、字符串

　　　　　　　　sep：数据分割字符串，如果是空串，写入文件为二进制

　　　　　　　　format：写入数据的格式

　　　　　　np.fromfile(frame, dtype=float,count=-1,sep='')

　　　　　　　　frame：文件、字符串

　　　　　　　　dtype：读取的数据类型

　　　　　　　　count：读入元素个数，‐1表示读入整个文件

　　　　　　　　sep：数据分割字符串，如果是空串，写入文件为二进制

　　　　NumPy的便捷文件存取：（下面的方法会在第一行存储数组的元信息，因而可以读取成和存储时一样的数组）

　　　　　　np.save(fname, array) 或np.savez(fname, array)

　　　　　　　　frame：文件名，以.npy为扩展名，压缩扩展名为.npz

　　　　　　　　array：数组变量

　　　　　　np.load(fname)

　　　　　　　　frame：文件名，以.npy为扩展名，压缩扩展名为.npz

　　4、NumPy的随机数函数（随机数随机出来的数据也是ndarray数组）

　　　　NumPy的随机数函数子库：np.random.*，例如：np.random.rand()、np.random.randn()、np.random.randint()

　　　　np.random的随机数函数：

　　　　　　rand(d0,d1,...,dn)：根据d0‐dn创建随机数数组，浮点数，[0,1)，均匀分布 ,d表示维度

　　　　　　randn(d0,d1,...,dn)：根据d0‐dn创建随机数数组，浮点数，[0,1)，标准正态分布 ,d表示维度

　　　　　　seed(s)：随机数种子，s是给定的种子值，只要给定种子值，随机出来的数组就是固定的

　　　　　　randint(low[,high,shape])：根据shape创建随机整数或整数数组，范围是[low, high) 

　　　　　　shuffle(a)：根据数组a的第1轴进行随排列，改变数组x 

　　　　　　permutation(a)：根据数组a的第1轴产生一个新的乱序数组，不改变数组x 

　　　　　　choice(a, [,size,replace,p])：从一维数组a中以概率p抽取元素，形成size形状新数组 replace表示是否可以重用元素，默认为False

　　　　　　uniform(low,high,size)：产生具有均匀分布的数组,low起始值,high结束值,size形状 

　　　　　　normal(loc,scale,size)：产生具有正态分布的数组,loc均值,scale标准差,size形状 

　　　　　　poisson(lam,size)：产生具有泊松分布的数组,lam随机事件发生率,size形状

　　　　NumPy统计函数：

　　　　　　NumPy直接提供的统计类函数：np.std、np.var()、np.average()

　　　　　　sum(a,axis=None)：根据给定轴axis计算数组a相关元素之和，axis整数或元组

　　　　　　mean(a,axis=None)：根据给定轴axis计算数组a相关元素的期望，axis整数或元组

　　　　　　average(a,axis=None,weights=None)：根据给定轴axis计算数组a相关元素的加权平均值

　　　　　　std(a,axis=None)：根据给定轴axis计算数组a相关元素的标准差

　　　　　　var(a,axis=None)：根据给定轴axis计算数组a相关元素的方差

　　　　　　min(a) max(a)：计算数组a中元素的最小值、最大值

　　　　　　argmin(a) argmax(a)：计算数组a中元素最小值、最大值的降一维后下标

　　　　　　unravel_index(index,shape)：根据shape将一维下标index转换成多维下标

　　　　　　ptp(a)：计算数组a中元素最大值与最小值的差

　　　　　　median(a)：计算数组a中元素的中位数（中值）

　　　　NumPy的梯度函数：

　　　　　　梯度：连续值之间的变化率，即斜率

　　　　　　XY坐标轴连续三个X坐标对应的Y轴值：a, b, c，其中，b的梯度是：(c‐a)/2

　　　　　　np.gradient(f)：计算数组f中元素的梯度，当f为多维时，返回每个维度梯度