引言
因为研究内容的需要,所以特地先系统的学习一下如何用python进行数据处理。接下来的几篇博客将是我连续学习《利用python进行数据分析》这本书的学习过程。
主要内容
常用python库的介绍
(1)Numpy
Numpy主要提供的功能有:快速高效的多位数组对象ndarray,用于对数组执行元素级计算以及直接对数组执行数学运算的函数,用于读写硬盘上基于数组的数据集的工具,线性代数运算、傅里叶变换、以及随机数生成。用于将c、c++和fotran代码集成到python。
除了对Python提供快的数组处理能力,Numpy在数据分析方面还有另外一个主要作用,即作为在算法之间传递数据的容器。对于数值型数据,Numpy数组在存储和处理数据时要比内置的Python数据结构高效。此外,由 低级语言编写的库可以直接操作Numpy数组中的数据,无需进行任务数据复制工作。
(2)pandas
pandas提供了使我们能够快速的处理结构化数据的大量数据结构和函数。常用的一个pandas对象是dataframe,它是一个面向列的二维表结构。pandas提供了复杂精细的索引功能,以便更为敏捷地完成重塑,切片和切块、聚合以及选取数据子集等操作。经常用于金融行业。
(3)matplotlib
最流行的绘制数据图表的库
(4)Ipython
主要用于交互式数据处理和利用matplotlib对数据进行可视化处理。Ipython简单来说就像是一个编辑器。它提供了基于终端的Ipython shell,还提供了:1.一个类似于mathematica的html笔记本 2. 一个基于Qt框架的GUI控制台,其中含有绘图,多行编辑以及语法高亮显示等功能 3.用于交互式并行和分布式计算的基础架构。
(5)Scipy
专门用来解决科学计算中各种标准问题。包含的包主要有:
1.scipy.integrate:数值积分例程和微分方程求解器
2.scipy.linalg:拓展了由numpy.linalg提供的线性代数例程和矩阵分解功能
3.scipy.signal:信号处理工具
4.scipy.sparse:稀疏矩阵和稀疏线性系统求解器
5.scipy.special:SPECFUN的包装器
6.scipy.stats:标准连续和离散概率分布、各种统计检验方法,以及更好的描述统计方法
7.scipy.weave:利用内联C++代码加速数组计算的工具