[转]Python 模块收集

工具

attrs Attributes Without Boilerplate
assertpy assert 语句的替代品
affirm 用于更好的替换 assert 语句
decorator 简化 decorator 的使用难度而开发的模块
isort 可自动对 Python 的 import 语句进行排序和分段。可将大量的 import 结构转成非常适合阅读的排版

日志处理

logging 标准库日志系统
logbook 一个功能完备强大的日志库
Structlog 是一个先进的日志处理器。他可以和任何现存的日志记录工具相集成，并包装了 Python 标准库。你可以构建定制的记录工具，根据你的需要增加上下文，保证你的日志一致、可读

系统工具

keyring
sh 是一个成熟的Python子进程接口，允许你像调用函数一样调用任何程序。超级好用。
Watchdog 是一个跨平台的Python库和shell工具，可以监视文件系统事件。超级好用，容易上手。
PyFilesystem 文件系统的抽象层

邮件

数据库

MySQL-Python 对 MySQL C 驱动的封装，仅支持 Python2，该项目名称为MySQLdb1
mysqlclient 基于 MySQLdb1 项目，并添加对 Python3 的支持
mysql-connector-python MySQL 官方支持的纯 Python 驱动
PyMySQL MySQL 的一个纯 Python 接口
Tornado-MySQL 基于 PyMySQL 并添加对 Tornado 的支持
adb 异步 mysql 库
SQLAlchemy 提供了 SQL 工具包及对象关系映射(ORM)工具
Peewee 超级轻量的一个 ORM 框架
pymongo MongoDB 官方支持的驱动程序
motor 为 Tornado 提供了一个基于回调和 Future 机制的非堵塞的 MongoDB 驱动程序
redis-py Redis 的 Python 接口程序

打印输出

prettytable 表格形式输出数据
tabulate 可以仅调用一个函数就能够输出小的、好看的表格
humanize 将数值、日期等转化为更易读的形式
colorama 输出着色，跨平台
termcolor 输出着色
blessings 输出着色
hues 输出着色，同时可以用来代替日志模块

并行计算、分布式、任务调度

Celery 一个非常成熟的Python分布式框架，可以在分布式的系统中，异步的执行任务，并提供有效的管理和调度功能。
SCOOP 提供简单易用的分布式调用接口，使用Future接口来进行并发。
Dispy 相比起 Celery 和 SCOOP，Dispy 提供更为轻量级的分布式并行服务
PP （Parallel Python）是另外一个轻量级的 Python 并行服务
Asyncoro 一个利用 Generator 实现分布式并发的 Python 框架
APScheduler 任务调度模块，一个 Python 定时任务框架
mpi4py 一个构建在MPI之上的Python库，主要使用Cython编写
pyee 一个 node.js’s EventEmitter 的 Python 粗略实现
threadpool 一个比较老的线程池库，不太建议使用

命令行参数解析

Docopt 忘了 optparse 和 argparse 吧，使用 docstring 来构建优雅的、高可读性、复杂（如果你有这个需要）的命令行界面。在我看来这是2013年诞生的最好的库
Click 用于快速创建命令行工具
clize 利用装饰器将函数转换成命令行解析器
python-fire Google 开源的一个可从任何 Python 代码自动生成命令行接口（CLI）的库,是开发和调试非常有用的工具，只需将想要在命令行显示的功能写为函数/模块/类，就可以在命令行模式下调用

HTTP

Requests 为人类准备的 HTTP，以更 pythonic 的方式处理 HTTP 请求，比 urllib2 好用得多
builtwith 识别网站所使用技术
whois 域名公共查询工具：Whois
robotparser 标准库，解析 robots.txt 文件

HTML/XML

lxml 联合了 libxml2 和 libxslt。如果你要处理 XML 或 HTML，lxml 是最好的选择，真的
PyQuery 像 JQuery 一样使用
html5lib
BeautifulSoup 一个可以从 HTML 或 XML 文件中提取数据的 Python 库

Web 框架

Bottle 是一个快速、简单、轻量的WSGI微型web框架。利用Bottle构建小型站点和API的时间以秒计算。这个框架只有一个py文件，你可以把它放进任何目录
Django 以快速开发和结构整洁著称的高层框架。这个开源免费的框架完全由 Python 编写并且遵循 MVC 的模型
CherryPy 是HTTP协议的一个封装，这样其他软件可以使用它来处理HTTP协议的细节。它是一个低层的框架，它只提供 RFC 2616 定义的功能。接口非常 Pythonic，让 Python 开发者不会感到突兀
Flask 基于 WerkzeugWSGI 工具箱和 jinja 模板，适合开发轻量级的 Web 应用，有很多第三方扩展
Pyramid 包含了一些 Python/Perl/Ruby 独有的特性，拥有不依赖平台的 MVC 架构，和最快的启动开发的能力。以执行效率和快速开发的能力著称
TurboGear 建立在其他框架基础上的框架，把其他框架优秀的部分集成到一起。由于每个框架都有一些部分做得不好，TurboGear试图解决这个问题．它允许你从一个单文件服务开始，逐步扩展为一个全栈服务
tornado 一个强大的、可扩展的异步非阻塞 Web 服务器，同时也是一个轻量级 Web 框架
web.py 一款轻量级的 Python web 开发框架，简单、高效
web2py 一种免费的、开源的 web 开发框架，用于敏捷地开发安全的、数据库驱动的 web 应用
Sanic 一个与 Flask 类似，基于 uvloop 的 web 框架，它能让 Python 更快速
hug 旨在简化 Python RESET APIs 的开发，其本身并非一个网络框架，构建在 Falcon 的高性能 HTTP 库之上，意味着可以使用任何 wsgi 兼容的服务器(例如 gunicorn)将其部署到生产环境中

Web Server

Gunicorn Green Unicorn，是一个 WSGI 服务器，用来支持 Python 应用，被设计成运行于Nginx之后，轻量级、易于使用、并使用许多UNIX特性
uWSGI 用来构建全栈式的主机服务，既能当作独立的 web 路由器来运行，也能运行在一个完整 web 服务器（比如Nginx或Apache）之后
Meinheld 一个高性能的异步 WSGI Web 服务, 利用 greenlet 和 Picoev 实现异步 I/O

网络爬虫

scrapy
mechanize
selenium 一个调用浏览器的driver，通过这个库你可以直接调用浏览器完成某些操作
cola 一个分布式爬虫框架。
pyspider

消息队列

pika RabbitMQ 的 Python 库
zmq ZeroMQ 的 Python 库
kafka-python Apache Kafka 的 Python 库
boto 亚马逊消息列队服务 Python SDK

远程对象支持

日期和时间处理

Delorean 用它处理日期和时间非常方便。设置时区，截取到秒、分、小时，甚至使用特定步骤从一个日期进到另一个日期
Arrow 提供了合理的、友好的方式来创建、控制、格式化、转换 Python 的日期、时间和时间戳

Excel

SSH

scp
paramiko

科学计算与数据处理

numpy
pandas
PyTables 提供了一些用于结构化数组的高级查询功能，而且还能添加列索引以提升查询速度，这跟关系型数据库所提供的表索引功能非常类似。
h5py 将数据存储为高效且可压缩的HDF5格式
fastcache 用 C 实现的，更快的，兼容 Python2 和 Python3 的缓存模块
PrettyPandas 用 pandas Style API 来将DataFrames转换成适合展示的表格
bcolz 列式存储的数据持久化方案，压缩率高而且查询速度快
odo 在各种数据格式之间高效的迁移数据。这里的数据格式既包括内存中的数据结构，比如：列表、集合、元组、迭代器、numpy中的ndarray、pandas中的DataFrame、dynd中的array，以及上述各类的流式序列。也包括存在于Python程序之外的持久化数据，比如：CSV、JSON、行定界的JSON，以及以上各类的远程版本，HDF5 (标准格式与Pandas格式皆可)、 BColz、 SAS、 SQL 数据库 ( SQLAlchemy支持的皆可)、 Mongo 等
Blaze 用于处理数据库和分析查询的阵列技术。是下一代的 NumPy。用于处理分布式的各种不同数据源的计算
joblib 为Python函数提供轻量级管道任务(pipeline job)服务的一系列工具，包括透明磁盘IO缓冲、快速序列化、简单并行化运行、日志服务等，为大数据集的快速可靠处理进行了优化，特别针对numpy数组的处理进行了优化

自然语言处理

python-pinyin 将汉字转为拼音。可以用于汉字注音、排序、检索
Pinyin2Hanzi 拼音转汉字，可以作为拼音输入法的转换引擎
jieba 中文分词组件
thulac 一个高效的中文词法分析工具包

性能优化

numba 使用 Just-in-Time(JIT) 即时编译器的方式加速代码，其 Python 源码通过 LLVMPy 生成 JIT 后的 so文件来加速
cython 是 Python 的 C 语言扩展。准确说 Cython 是单独的一门语言，专门用来写在 Python 里面 import 用的扩展库。实际上 Cython 的语法基本上跟 Python 一致，而 Cython 有专门的编译器：先将 Cython 代码转变成 C(自动加入了一大堆的 C-Python API)，然后使用 C 编译器编译出最终的 Python 可调用的模块。不过 Cython 的缺点是，你并不能真正编写 Python 代码
pypy 使用 Python 实现的解释器，它使用了 Just-in-Time(JIT) 即时编译器，即动态编译器，与静态编译器（如gcc,java等）不同，它是利用程序运行的过程的数据进行优化
Pyston 是一款 Dropbox 推出的新的基于 JIT 的 Python 实现，使用 LLVM 编译器实现代码解析与转换