在生信公司里，有相当一部分人都是负责编写流程和维护流程。
流程pipeline，就是让用户（前端）在填写配置文件后能够一键运行的脚本，最终自动得出结果，并生成报告，有的公司还会将结果上传。
自动化pipeline必须具备的功能：
- 读取配置文件，生成相应的待执行的脚本
- 按照先后逻辑关系依次向集群投递任务
- 能将大任务分割成小的任务，并行执行，缩短项目周期
必须使用的工具：
- 一门脚本语言，Shell、Perl 或 Python
- 集群调度系统工具，SGE 或 monitor
- 工具必须都使用绝对路径，因为这脚本是给同部门的人用的，如果你要提高可移植性，可以将工具路径写到配置文件里。
- 写流程前，最好先画出 pipeline 的分析流程图
- 配置好软件工具及库的路径
首先所有的模块生成都是使用了一个脚本:
sh run.sh
脚本内容为:
perl generate.pl -conf XX.conf -list sample.list -outdir result
执行后, 会在本地生成所有的框架.
最终前端只需要执行result里的一个脚本就可以了：
sh qsub.sh
脚本里的内容:
monitor taskmonitor <Grid set> -i qsub.conf
配置文件conf里的内容:
<script 1>:<mem> <script 2>:<mem> <script 1>:<mem> <script 3>:<mem> <script 3>:<mem> <script 4>:<mem>
是monitor准备的待执行脚本, 包含了脚本的执行逻辑, 以及每个脚本执行时所需的内存.
看了别人的流程, 发现都不够完美, 因为我不熟悉面向对象的编程思想, 但我对模块化编程思想的理解已经非常深刻了, 我觉得一个好的流程一定得模块化, 各个功能之间相互独立, 大问题划分为小问题, 这样在写代码、调试和以后流程修改时就非常简单和方便了，效率大大的提高了，别人要干一个季度的事，我一个月就可以搞定。