zoukankan      html  css  js  c++  java
  • 关于supervisor 的使用以及配置

    首先我个人认为,用python实现的supervisor使用了守护进程这个概念去实现一个包裹进程的概念。

    他可以帮助你的进程完成失效重启,日志记录,确保在线,关机自启动等一系列的功能。

    当使用supervisor的进程死掉的时候,启动他的守护进程可以帮助你重新完成启动该进程的工作,不必再重复的手动去启这个进程,大大的提升了稳定性。

    所以可以这样理解,supervisor进程本身是作为被他启动进程的守护进程存在的,只要他不死,他就能提升进程的稳定性。

    说了这么多让我大概谈一下如何使用和如何配置。

    首先我是使用的pip 安装的,我这里先介绍使用pip安装的流程和使用的方法。

    使用pip install supervisor安装supervisor

    然后supervisor会自动被加到etc/local/bin里 然后可以使用两个命令

    1. supervisord

    2. supervisorctl

    我暂时不谈这两个命令的用途继续向前。

    我用电脑切换到root权限,使用命令

    echo_supervisord_conf > /etc/supervisord.conf

    在etc目录下面生成一个supervisord的配置文件,该配置文件可以被用来启动supervisor进程。

    那。。道理我都懂,为什么还看到过一些自己写的配置文件呢like this。。

    [program:usercenter]
    directory = /home/leon/projects/usercenter ; 程序的启动目录
    command = gunicorn -c gunicorn.py wsgi:app  ; 启动命令,可以看出与手动在命令行启动的命令是一样的
    autostart = true     ; 在 supervisord 启动的时候也自动启动
    startsecs = 5        ; 启动 5 秒后没有异常退出,就当作已经正常启动了
    autorestart = true   ; 程序异常退出后自动重启
    startretries = 3     ; 启动失败自动重试次数,默认是 3
    user = leon          ; 用哪个用户启动
    redirect_stderr = true  ; 把 stderr 重定向到 stdout,默认 false
    stdout_logfile_maxbytes = 20MB  ; stdout 日志文件大小,默认 50MB
    stdout_logfile_backups = 20     ; stdout 日志文件备份数
    ; stdout 日志文件,需要注意当指定目录不存在时无法正常启动,所以需要手动创建目录(supervisord 会自动创建日志文件)
    stdout_logfile = /data/logs/usercenter_stdout.log
     
    ; 可以通过 environment 来添加需要的环境变量,一种常见的用法是修改 PYTHONPATH
    ; environment=PYTHONPATH=$PYTHONPATH:/path/to/somewhere

    这里写了一个app 注意,[program:project-name]

    这个是固定名字,告诉supervisor这个program的名字是什么,这个名字会在你使用supervisorctl的时候标识这个项目的名称。

    只需要编辑一下我们放在/etc下的supervisord.conf配置文件就行了。

    仔细察看配置文件内容不难发现,在最后有一个[include]模块,

    在下面依照这种格式,就可以让启动该配置文件的事以后搜索这个路径下面的app一并启动

    这里通用配置就在 /etc/supervisord.d/ 下面放各个任务的配置文件

    [include]
    files = supervisord.d/*.ini

    具体配置我这里也贴一个 e.g.

    [program:live_room]
    directory=/home/work/online/jaina
    command=python /home/work/online/jaina/app.py online task redash play_atom_consumer run
    autorestart=true
    autostart=false
    startretries=5
    numprocs=30
    process_name=live_room-%(process_num)s
    #process_name=sync_to_data08mysql
    redirect_stderr=true
    stdout_logfile=/tmp/live_room.log
    stdout_logfile_maxbytes=100MB
    stdout_logfile_backups=1
    user=work

    配置好了之后,让我们来启动他,直接使用命令

    supervisord -c /etc/supervisord.conf

    supervisord 就可以启动啦!

    另外配置文件在我们最上面那一步 

    echo_supervisord_conf > /etc/supervisord.conf

    都可以用在 /etc/supervisord.conf 里面找到,不管是程序级别的配置,还是整个 supervisor 系统的问题。

    每个配置也都有一些简单的注释可以关注一下。

    还有另外一种简单的方法,直接使用 apt-get install supervisor 来安装 supervisor 这样配置文件会直接出线在 /etc/supervisor 中

    我们只需要配置 etc/supervisor/conf.d/xx.conf 就可以 配置 supervisor了

    而且这样还有一个好处是可以直接使用系统service 对supervisor进行开启关闭重启 也可以使用控制台 比较灵活。

    记得还有一个命令没有介绍到,那就是supervisorctl顾名思义,就是supervisor的控制台。

    输入之后进入控制题啊,然后使用help命令可以轻松看到有哪些命令可以使用。

    > status    # 查看程序状态
    > stop       # 关闭程序
    > start       # 启动程序
    > restart    # 重启程序
    > reread    # 读取有更新(增加)的配置文件,不会启动新添加的程序
    > update    # 重启配置文件修改过的程序

    另外可能会在该配置文件里面看到很多以“;” 开头的。这个符号在这里是注释掉的意思。

    就这样supervisor就被启动起来了,效果也很明显,用来做什么也很明显,更多参数和高级用法,还是在实践中查询文档实现吧!

    ------------------------------------------分割线------------------------------------------------

    补充一些新遇到的内容。

    supervisor 的 command 并不是使用 bash or sh 来执行的,所以有可能无法活使用 bash 支持的一些函数啥的

    比如 source ....所以我们先使用 bash -c "source /home/redash/.bashrc && xxxx "就可以达成目标

    bash -c "source xxxx && xxxxx"

    但是注意如果我们使用 bash -c "source /home/redash/.bashrc && python xxx " 去启动我们程序,我们可能会让 supervisor 的程序将我们的应用拆开成 bash -c "xxxxxx && python xx" and "python xxxx" 作为子进程 like this

    supervisor 程序 17672

    下面管理了我的主程序 19590 

    19590 下面管理了真正在运行的程序 19649

    这里就引入了一个问题,如果我直接通过 supervisorctl 杀死了 19590 ,19649 会变成孤儿进程直接被 pid 1 托管,并不会被干掉。这跟我们想要的效果不同。

    所以这里要引入两个新的配置参数

    stopasgroup=true
    killasgroup=true

    在杀死和停止 主进程的时候,将 kill 和 stop 命令传播下去,这样就可以顺利结束所有主进程子进程了。

    最近由于管理一些权限比较高的应用,都直接使用 root 来启动的 supervisor 遇到了不少坑,在这里记录一下。

    supervisor 使用 root 权限运行有很多灵活性,但是也有个不好的地方。

    好处:

    1. 灵活的用户分配,在 root 权限下面你不仅可以用 root 身份来执行各类任务,也可以使用 user 参数来切换自己的身份,使用 setuid 的方式来执行其他用户的内容。

    2. 不仅如此 我们同样可以使用 sudo -i -u 来加载目标项目的环境变量等配置,彻底使用别人的账户来执行相关的任务和应用。

    不好的地方:

    1. 权限高,可能涉及部署的部分不方便。

    2. 配置错误的话影响大,特别是错误写文件改变文件权限等操作会引发糟糕的连锁反应。

    所以当我们需要管理很多重要的应用的情况,我们可以放心使用 root 权限去启动 supervisor 然后用对应账户的环境来 run 应用。注意 supervior program user 参数并不能加载环境变量等参数,只是使用 setuid 用应用所属权限去运行目标应用。如果环境没有加载,是无法正确运行的。

    如果不想使用 sudo -i -u 命令,也可以添加 environment 来将需要的环境变量添加进去即可。

    Reference:

    http://www.cnblogs.com/Ray-liang/p/4173923.html  阿里云部署flask+wsgi+nginx详解

    https://segmentfault.com/n/1330000004918556  Hello Supervisor

    http://www.ttlsa.com/linux/using-supervisor-control-program/  使用supervisor管理进程

    https://stackoverflow.com/questions/43076406/why-cant-supervisor-find-command-source

    http://supervisord.org/   supervisor 官方文档

  • 相关阅读:
    朋友圈、浏览器分享实现
    Cannot read property 'appendChild' of null
    Nginx报错:Sorry, the page you are looking for is currently unavailable. Please try again later.
    RGBA(0,0,0,0)调色
    windows下 python中报错ImportError: No module named 'requests'
    一起谈.NET技术,C# 基础概念之延迟加载 狼人:
    一起谈.NET技术,为类提供软件约定 狼人:
    一起谈.NET技术,asp.net控件开发基础(6) 狼人:
    一起谈.NET技术,详解.NET程序集的加载规则 狼人:
    一起谈.NET技术,Linq学习笔记 狼人:
  • 原文地址:https://www.cnblogs.com/piperck/p/5380938.html
Copyright © 2011-2022 走看看