英文链接：https://mlflow.org/docs/latest/projects.html
本文链接：https://www.cnblogs.com/CheeseZH/p/11945432.html
MLflow项目是一种用于以可复用可复现的方式打包数据科学代码的格式。项目的组件包含了API和命令行工具，可以用来在一个工作流中链接多个项目。
概览
简而言之，MLflow项目就是一套框架，用于组织和发布你的代码，使得其他数据科学家或者自动化工具能够运行。每个项目就是一个包含多个文件的目录或者一个Git仓库。MLflow可以根据目录中的文件（比如conda.yaml文件可以看作是Conda环境）来运行项目，你也可以在MLproject文件中指定更详细的信息。
Name
人类可读的项目名称。
Entry Points
项目中可以执行的命令，以及命令的参数信息。大多数项目至少有一个用来调用的入口点，一些项目可能包含多个入口点，比如你有一个Git仓库里边有多种特征提取算法。你也可以调用任意的.py或者.sh文件作为入口点。如果你在MLproject文件中列举了入口点信息，你也需要提供相应的参数信息，包括数据类型和默认值。
Environment
用于执行入口点的软件环境。包括项目代码依赖的所有库。详情参考Project Environments，包括Conda environments和Docker containers。
你可以通过mlflow run命令或者mlflow.projects.run()Python API来运行来自Git URI（需要使用绝对目录）或者本地目录的项目。
指定项目
默认情况下，一个Git仓库或者一个本地目录都可以被当作一个MLflow项目。项目目录的章节会介绍了MLflow如何把目录解析成一个项目。
为了给一个项目提供额外的信息，你可以在仓库或者目录中提供一个MLproject文件。
MLflow项目允许你指定项目需要的软件环境。
项目环境
目前MLflow支持以下几种项目环境：Conda环境，Docker容器环境，系统环境。
Conda环境
Conda环境支持Python包和本地库（例如CuDNN或Intel MKL）。当一个MLflow项目指定了Conda环境，这个环境会在项目运行前激活（activated）。
默认的，MLflow使用系统路径查找并运行conda。你可以通过环境变量MLFLOW_CONDA_HOME来指定conda环境，这样MLflow就会尝试运行$MLFLOW_CONDA_HOME/bin/conda。
你可以通过conda.yaml文件为项目指定conda环境，将这个文件放在项目根目录或者MLproject的conda_env参数。
Docker容器环境
Docker容器可以让你调用非Python依赖，比如Java库。详情参考Dockerized Model Training with MLflow。
如果指定Docker容器环境，必须向项目中添加MLproject文件。
系统环境
你也可以在当前系统环境下直接运行MLflow项目。前提是你当前系统中安装了项目的所有依赖。使用系统环境的话，不需要在MLproject文件中指定。更多信息查看运行项目的Environment参数。
项目目录
当运行一个没有MLproject文件的MLflow项目目录或者仓库，MLflow使用下面的约定决定项目的属性：
- 项目名称就是目录名称
- 如果有conda.yaml文件，就是用指定的conda环境，否则MLflow会使用一个仅包含Python的conda环境。
- 任何.py和.sh文件都可以作为入口点。
- 默认情况下，入口点没有任何参数。参数可以在运行时通过命令行
mlflow run或者Python APImlflow.projects.run()指定参数。语法是--key value。
MLproject文件
MLproject文件是一个遵循YAML语法的文本文件，位于项目根目录，下边是个例子：
name: My Project
conda_env: my_env.yaml
# Can have a docker_env instead of a conda_env, e.g.
# docker_env:
# image: mlflow-docker-example
entry_points:
main:
parameters:
data_file: path
regularization: {type: float, default: 0.1}
command: "python train.py -r {regularization} {data_file}"
validate:
parameters:
data_file: path
command: "python validate.py {data_file}"
这个文件可以指定名字，conda或者docker环境，入口点的详细信息。每个入口点都会定义一个运行命令和参数。
指定环境
Conda environment
Include a top-level conda_env entry in the MLproject file. The value of this entry must be a relative path to a Conda environment YAML file within the MLflow project’s directory. In the following example:
MLproject文件不能同时指定conda环境和Docker环境。
Conda环境
在MLproject文件的顶层通过conda_env来指定。conda_env的值必须是MLflow项目目录中的指定conda环境的YAML文件的相对目录。例如：
conda_env: files/config/conda_environment.yaml
conda_env会被解析成<MLFLOW_PROJECT_DIRECTORY>/files/config/conda_environment.yaml，其中<MLFLOW_PROJECT_DIRECTORY>表示项目的根目录。
Docker容器环境
Include a top-level docker_env entry in the MLproject file. The value of this entry must be the name of a Docker image that is accessible on the system executing the project; this image name may include a registry path and tags. Here are a couple of examples.
Example 1: Image without a registry path
在MLproject文件的顶层通过docker_env来指定。docker_env的值必须是该项目可以访问到的Docker镜像，以下是几个例子。
例1: 无注册路径的镜像
docker_env:
image: mlflow-docker-example-environment
默认Tag是latest，首先从当前系统中查找镜像mlflow-docker-example-environment，如果本地没有找到，就会尝试到DockerHub上拉取。
例2: 有注册路径的镜像
docker_env:
image: 012345678910.dkr.ecr.us-west-2.amazonaws.com/mlflow-docker-example-environment:7.0
命令语法
指定参数
# 简单指定
parameter_name: data_type
# Short syntax
parameter_name: {type: data_type, default: value}
# Long syntax
parameter_name:
type: data_type
default: value
参数类型
- string
- float
- path
- uri
运行项目
MLflow提供了两种运行项目的方式：mlflow run命令行工具，mlflow.projects.run() Python API。这两种方式都包括以下参数：
- Project URI
- Project Version
- Entry Point
- Parameters
- Deployment Mode
- Environment
例如mlflow run git@github.com:mlflow/mlflow-example.git -P alpha=0.5
在Databricks上运行MLflow项目
在Kubernetes上运行MLflow项目(experimental)
快速迭代
- 项目中添加MLproject文件
- 将主程序指定为
main入口点 - 将参数设置为默认参数
- 执行
mlflow run .
构建多步骤工作流
结合使用mlflow.tracking和mlflow.projects.run()能够构建一个多步骤工作流，每个步骤可以是单独的项目或者一个项目中的入口点。每次调用mlflow.projects.run()都会返回一个run对象，你可以使用mlflow.tracking来知道这个run什么时候结束以及它的输出产品。这些产品可以通过路径或者URI参数传递到下一个步骤。你可以通过一个Python程序协调所有工作流，查看每个步骤的结果。下边是个使用多步骤工作流的场景：
模块化你的数据科学代码
不同的用户可以发布数据特征抽取，训练，验证等可复用的步骤，这样其他用户或者团队就可以在他们的工作流中使用。因为MLflow支持Git版本，另一个团队可以锁定他们的工作令使用指定版本的项目，或者根据他们自己的计划升级。
超参数调优
使用mlflow.projects.run()你可以并行启动多个runs，无论是在本地机器还是在Databricks这种云平台。你的主程序就可以实时查看每个run的指标，以此为依据取消runs或者启动新的runs或者选择最好的run。
交叉验证
Sometimes you want to run the same training code on different random splits of training and validation data. With MLflow Projects, you can package the project in a way that allows this, for example, by taking a random seed for the train/validation split as a parameter, or by calling another project first that can split the input data.
For an example of how to construct such a multistep workflow, see the MLflow Multistep Workflow Example project.
有时候你希望同样的训练代码在不同的训练集和验证集上运行。使用MLflow项目，你可以做到这点，比如随机切分训练集／验证集，或者通过调用另一个项目来切分输入数据。