zoukankan      html  css  js  c++  java
  • Django-celery异步原理与组件(1)

    1.Celery异步介绍

    1.1celery应用举例

    ​ 1.Celery是一个基于python开发的分布式异步消息任务队列,通过它可以轻松实现任务的异步处理,如果你的业务场景中需要用到异步任务,就可以考虑使用celery。

    ​ 2.你想对100台机器执行一条批量命令,可能会花很长时间,但你不想让你的程序等着结果返回,而是给你返回一个任务ID,

    ​ 你过一段时间只需要拿着这个任务id就可以拿到任务执行结果,在任务执行ying进行时,你可以继续做其他事。

    ​ 3.Celery在执行任务时,需要通过一个消息中间件来接收和发送消息,以及储存任务结果,一般使用rabbitMQ or Redis

    1.2 Celery有以下优点

    ​ 1.简单:一旦熟悉celery的工作流程后,配置和使用还是比较简单的。

    ​ 2.高可用:当任务执行失败或执行过程中发生连接中断,celery会自动尝试重新执行任务。

    ​ 3.快速:一个单进程的celery每分钟可用处理上百万个任务。

    ​ 4.灵活:几乎celery的各个组件都可以被扩展及自定制。

    1.3Celery基本工作流程图

    ​ user:用户程序,用于告知celery去执行一个任务。

    ​ broker:存放任务(依赖RabbitMQ或Redis,进行储存)

    ​ worker:执行任务。

    1.4Celery特性

    ​ 1)方便查看定时任务的执行情况,如是否成功,当前状态,执行任务花费的时间等。

    ​ 2)可选多进程,Ecentlet和Gevent三种模型并发执行。

    ​ 3)Celery是与语言无关的,他提供了python等常见语言的接口支持。

    2.Celery组件

    2.1Celery扮演生产者和消费者的角色

    ​ Celery Beat: 任务调度器,Beat进程会读取配置文件的内容,周期性将配置中到期需要执行的任务发送给任务队列。

    ​ Celery Worker:执行任务的消费者,通常会在多台服务器运行多个消费者,提高运行效率。

    ​ Broker:消息代理,代理本身,也称为消息中间件,接受任务生产者发送过来的任务消息,存进队列,再按顺序发送给任务消费者(通常是消息队列或者数据库)

    ​ Producer:任务生产者,调用Celery API,函数或者装饰器,而产生任务并交给任务队列处理的都是任务生产者。

    ​ Result Backend:任务处理完成之后保存状态信息和结果,以供查询。

    2.2Celery架构图

    2.3产生任务的方式

    ​ 1)发布者发布任务(WEB任务)

    ​ 2)任务调度按期发布任务(定时任务)

    2.4Celery 依赖三个库:这三个库,都由Celery的开发者开发和维护。

    ​ billiard :基于Python2.7的multisuprocessing而改进的库,主要用来提高性能和稳定性。

    ​ librabbitmp :C语言实现的Python客户端

    ​ kombu :Celery自带的用来收发消息的库,提供了符合Python语言习惯的,使用AMQP协议的高级接口。

  • 相关阅读:
    manage.py migrate 报错
    pip安装django出错 Could not install packages due to an EnvironmentError: [Errno 13]
    利用beautifulsoup下载网页html代码中的css, js, img文件并保存
    itchat库微信自动回复祝福语
    关于阿里云Mysql分页查询不走索引的问题
    如何成为PHP程序员?
    Linux常用命令之scp
    PHP版本的区别与用法详解
    Linux常用命令之ftp
    Linux常用命令之权限管理
  • 原文地址:https://www.cnblogs.com/xiangnuan/p/13778880.html
Copyright © 2011-2022 走看看