zoukankan      html  css  js  c++  java
  • celery——任务调度模块

            Celery是Python开发的并行分布式任务调度模块,今天抽空看了一下,果然接口简单,开发容易,5分钟就写出了一个异步发送邮件的服务。

    Celery本身不含消息服务,它使用第三方消息服务来传递任务,目前,Celery支持的消息服务有RabbitMQ、Redis甚至是数据库,当然Redis应该是最佳选择。

    架构设计:

    Python 并行分布式框架:Celery

    架构组成:

    Celery的架构由三部分组成,消息中间件(message broker),任务执行单元(worker)和任务执行结果存储(task result store)组成。

    • 消息中间件

      Celery本身不提供消息服务,但是可以方便的和第三方提供的消息中间件集成。包括,RabbitMQRedisMongoDB (experimental), Amazon SQS (experimental),CouchDB (experimental), SQLAlchemy (experimental),Django ORM (experimental), IronMQ

    • 任务执行单元

      Worker是Celery提供的任务执行的单元,worker并发的运行在分布式的系统节点中。

    • 任务结果存储

      Task result store用来存储Worker执行的任务的结果,Celery支持以不同方式存储任务的结果,包括AMQP, Redis,memcached, MongoDB,SQLAlchemy, Django ORM,Apache Cassandra, IronCache

    另外, Celery还支持不同的并发和序列化的手段

    • 并发

      PreforkEventletgevent, threads/single threaded

    • 序列化

      pickle, json, yaml, msgpack. zlib, bzip2 compression, Cryptographic message signing 等等

    1.安装Celery

    用pip或easy_install安装:

    $ sudo pip install Celery
    

    或者:

    $ sudo easy_install Celery
    

    使用Redis作为Broker时,再安装一个celery-with-redis。

    2.开始编写tasks.py:

     1 # tasks.py
     2 import time
     3 from celery import Celery
     4 
     5 celery = Celery('tasks', broker='redis://localhost:6379/0')
     6 
     7 @celery.task
     8 def sendmail(mail):
     9     print('sending mail to %s...' % mail['to'])
    10     time.sleep(2.0)
    11     print('mail sent.')

    3.然后启动Celery处理任务:

    1 $ celery -A tasks worker --loglevel=info

    其中-A参数表示的是Celery App的名字。

    上面的命令行实际上启动的是Worker,如果要放到后台运行,可以扔给supervisor。

    4.如何发送任务?非常简单:

    1 >>> from tasks import sendmail
    2 >>> sendmail.delay(dict(to='celery@python.org'))
    3 <AsyncResult: 1a0a9262-7858-4192-9981-b7bf0ea7483b>

    可以看到,Celery的API设计真的非常简单。

    然后,在Worker里就可以看到任务处理的消息:

    1 [2013-08-27 19:20:23,363: WARNING/MainProcess] celery@MichaeliMac.local ready.
    2 [2013-08-27 19:20:23,367: INFO/MainProcess] consumer: Connected to redis://localhost:6379/0.
    3 [2013-08-27 19:20:45,618: INFO/MainProcess] Got task from broker: tasks.sendmail[1a0a9262-7858-4192-9981-b7bf0ea7483b]
    4 [2013-08-27 19:20:45,655: WARNING/PoolWorker-4] sending mail to celery@python.org...
    5 [2013-08-27 19:20:47,657: WARNING/PoolWorker-4] mail sent.
    6 [2013-08-27 19:20:47,658: INFO/MainProcess] Task tasks.sendmail[1a0a9262-7858-4192-9981-b7bf0ea7483b] succeeded in 2.00266814232s: None

    Celery默认设置就能满足基本要求。Worker以Pool模式启动,默认大小为CPU核心数量,缺省序列化机制是pickle,但可以指定为json。由于Python调用UNIX/Linux程序实在太容易,所以,用Celery作为异步任务框架非常合适。

    Celery还有一些高级用法,比如把多个任务组合成一个原子任务等,还有一个完善的监控接口,以后有空再继续研究。

    官方文档http://docs.celeryproject.org/en/latest/userguide/index.html

  • 相关阅读:
    arcgis for silverlight 控制图层显示级别
    Telerik for silverlight RadAutoCompleteBox 动态数据源
    ARM嵌入式学习--OK6410裸板程序--2.GPIO控制LED跑马灯(从ARM汇编跳转到C语言)
    ARM嵌入式学习--OK6410裸板程序--1.GPIO控制LED
    Linux内核移植--1.添加NAND Flash分区
    Linux 快速释放端口与释放内存缓存
    jquery ajax session超时处理
    相濡以沫不如相忘江湖
    SQL Server数据库无法启动(万金油解决办法)
    多显示器实现屏幕扩展(VGA DVI HDMI)
  • 原文地址:https://www.cnblogs.com/zhenghaonihao/p/6417396.html
Copyright © 2011-2022 走看看