zoukankan      html  css  js  c++  java
  • python任务调度模块celery

    python任务调度模块celerycelery简介Celery特点Celery工作流程图celery安装使用

    python任务调度模块celery

    celery简介

    Celery是一个python开发的异步分布式任务调度模块。
    Celery本身并不提供消息服务,使用第三方服务,也就是borker来传递任务,一般使用rabbitMQ或者Redis。

    Celery特点

    • 简单:一单熟悉了celery的工作流程后,配置和使用还是比较简单的。
    • 高可用:当任务执行失败或执行过程中发生连接中断,celery 会自动尝试重新执行任务。
    • 快速:一个单进程的celery每分钟可处理上百万个任务。
    • 灵活: 几乎celery的各个组件都可以被扩展及自定制。

    Celery工作流程图

    这里写图片描述
    这里写图片描述

    celery安装使用

    安装Celery模块

    pip install celery

    Celery的默认broker是RabbitMQ,仅需配置一行

    broker_url = 'amqp://guest:guest@localhost:5672//'

    redis作为broker也可以。

    安装

    pip install redis

    配置
    broker_url配置redis数据库地址,格式为redis://:password@hostname:port/db_number。
    backend配置任务结果存储位置,将保存每个任务的执行结果。

    app.conf.broker_url = 'redis://localhost:6379/0'
    app.conf.result_backend = 'redis://localhost:6379/0'
    port和db_number是可选项,默认情况下端口使用6379,db_number使用0。

    示例
    创建一个celery application定义任务列表,新建一个celery1.py文件

    from celery import Celery
    broker = "redis://118.24.18.158:6379/5"
    backend = "redis://118.24.18.158:6379/6"
    app = Celery("celery1", broker=broker, backend=backend)
    @app.task
    def add(x, y):
    return x+y

    启动Celery Worker开始监听并执行任务

    celery -A celery1 worker --loglevel=info

    调用任务

    import time
    from celery1 import add
    re = add.delay(10, 20)
    print(re)
    print(re.status)
    time.sleep(8)
    print(re.status)
    print(re.result)
    I am a slow walker,but I never walk backwards.
  • 相关阅读:
    odoo11 外部数据导入方法2
    odoo 11 实现多个字段对应一个查询参数的查询
    ionic 访问odoo11之具体业务类api接口
    ionic访问odoo 11接口
    odoo 11导入外部数据过程记录
    程序发送邮件的思考
    Topshelf的Ioc实现
    查看MS Sqlserver文件大小语句
    TopShelf 自动配置Service测试
    odoo11 添加自定义模块报错问题
  • 原文地址:https://www.cnblogs.com/jiangshanwang/p/9146227.html
Copyright © 2011-2022 走看看