zoukankan      html  css  js  c++  java
  • Anaconda / Conda 实践

    一、环境


    CentOS 7.6

    有预装 python 2.7

    二、Anaconda 与 Conda 区别


    1、Anaconda

    Anaconda 是Python的一种发行版。包含了:

    (1)conda

    (2)某个版本的python

    (3)预装好的packages

    Anaconda Distribution还有Anaconda Navigator,提供了界面化的操作。

    其实还有Miniconda,只有最基本的conda和python。

    2、Conda

    conda是Anaconda下的包管理环境管理工具。也可以单独安装。

    三、Conda 跟 pip 区别


    1、包的来源不一样

    Conda 来源于 Anaconda repo and cloud (http://anaconda.org/)

    pip(pip Installs Packages) 来源于 PyPI (https://pypi.python.org/pypi)

    Anaconda存储库中提供了超过1,500个包,但与PyPI上提供的150,000多个软件包相比,它仍然很小。

    2、包的种类不一样

    pip 是 python 官方自带的包管理工具,只能安装 python 软件。

    Conda包不仅限于Python软件。它们还可能包含C或C ++库,R包或任何其他软件。在这个意义上,它不像pip,更像是apt或yum等跨平台版本。

    Conda 是一个与语言无关的跨平台环境管理器。

    3、Conda 比 pip 多了环境管理功能

    Pip没有内置的环境支持,除非使用第三方 virtualenv。

    四、Anaconda (Conda) 的安装


    1、下载

    下载地址:https://www.anaconda.com/distribution/

    有 Python 3.7 和 Python 2.7 两个版本提供下载:

    我们下载 Python 3.7版本,即Anaconda3-2018.12-Linux-x86_64.sh 文件。

    2、安装

    bash Anaconda3-2018.12-Linux-x86_64.sh

    在当前路径安装后,会生成anaconda3目录和一些隐藏文件。

    坑:安装报错

    Anaconda3-2018.12-Linux-x86_64.sh: line 353: bunzip2: command not found

    解决方案:安装 bzip2 包

    yum install bzip2

    3、添加环境变量

    source .bashrc

    4、如何判断安装成功?

    conda --version

    python --version(python 3.7版本会覆盖之前 centos 预装的2.7版本)

    安装成功后,机器自带的 pip 和 python、python3 都会被Conda接管。

    五、(Conda)环境管理


    1、基本操作

    # --------------------------
    
    ### 创建环境
    conda create -n ds
    conda create -n ds python=3.7 (推荐安装好 python,下面会说原因)
    conda create -n ds python=3.4 scipy=0.15.0 astroid babel
    # 还可以通过yml的环境文件(下面会介绍)
    # 克隆环境(下面会介绍)
    
    # --------------------------
    
    ### 激活环境 
    source activate ds
    conda activate ds
    
    # --------------------------
    
    ### 退出环境 
    source deactivate
    conda deactivate
    
    # --------------------------
    
    ### 删除环境
    conda remove -n ds --all
    
    # --------------------------
    
    ### 列出所有环境(一开始有一个名为base的默认环境)
    conda info -e
    
    # --------------------------
    

    2、克隆环境

    conda create -n new_ds --clone ds
    

    3、共享环境

    用这个功能可以很好的迁移 python 项目的依赖环境,取代传统的 pip + virtualenv 的方式。

    1、先激活环境
    
    2、再导出环境配置文件
    conda env export > environment.yml
    
    3、再根据环境配置文件生成新环境
    conda env create -f environment.yml
    
    4、再激活新环境
    

    一个典型的环境配置文件environment.yml如下:

    name: ds
    channels:
      - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
      - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
      - defaults
    dependencies:
      - ca-certificates=2019.1.23=0
      - certifi=2019.3.9=py37_0 
      - pip:
        - ansiwrap==0.8.4
        - attrs==19.1.0 
    prefix: /mnt/ds/anaconda3/envs/ds
    
    

    记得修改prefix路径,因为每台机器的anaconda3安装路径可能不一样。

    坑1:共享环境不适用不同的操作系统(比如 linux 迁移到 mac)

    解决办法:还是 docker 大法好啊!!

    坑2:共享环境后,pip的包装不上

    原因未知……待解决

    解决办法:还是 docker 大法好啊!!

    4、保存环境变量

    5、构建相同的conda环境

    我不太清楚 构建相同的conda环境 和 共享环境 有什么具体区别

    6、实践要点【重点】

    例如有 base(默认) 和 ds 两个环境。

    (1)推荐创建新环境的时候,指定安装 python

    即用conda create -n ds python=3.7取代conda create -n ds,不然会有一个坑,即用 pip 习惯性的去安装包的时候,因为 ds 环境没有装 python,自然就没有 pip 命令,那么 conda 的机制就会去使用 base 环境的 pip,那么装好的包虽然能在 ds 里用,但也能在 base 里用,最重要的是,若以后要做环境迁移,导出的 yml 文件,这个包只会存在 base 里,而不会在 ds 里!

    (2)Jupyter notebook 选择 conda 环境

    虽然机子上可能有多个 conda 环境,但坑的是 Jupyter notebook 始终都会选择 默认的 base 环境

    解决办法:

    是安装nb_conda_kernels包:conda install nb_conda_kernels

    使用方法:

    A、新建notebook时指定环境:

    B、修改已存在的notebook的环境:

    六、(Conda)渠道管理


    七、(Conda)包管理


    conda的设计理念:几乎将所有的工具、第三方包都当做package对待,甚至包括anaconda、python和conda自身

    1、基本操作

    # --------------------------
    
    ### 查找包
    conda search numpy
    
    # 按照全称查找
    conda search --full-name python
    
    # --------------------------
    
    ### 安装包
    conda install numpy
    
    # 指定版本
    conda install scipy=0.15.0
    
    # 指定环境 (其他的命令也可以用这种写法)
    conda install -n python34 numpy 
    
    # --------------------------
    
    ### 更新包
    conda update -n python34 numpy
    # 更新anaconda
    conda update anaconda
    # 更新conda
    conda update conda
    # 更新 python
    conda update python
    
    # --------------------------
    
    ### 删除包
    conda remove -n python34 numpy
    
    # --------------------------
    
    ### 查看安装了的包
    conda list 
    conda list zlib
    
    # --------------------------
    
    

    2、包的来源顺序

    (1)conda / Anaconda.org

    (2)pip

    当conda和pip一起用于创建环境时会出现问题

    解决方案:https://www.anaconda.com/using-pip-in-a-conda-environment/

    3、添加镜像

    # 添加Anaconda的TUNA镜像
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ 
    

    参考资料

    https://docs.anaconda.com/anaconda/install/

    https://docs.conda.io/projects/conda/en/latest/user-guide/overview.html

  • 相关阅读:
    二级指针与二维数组
    Linux下常用命令
    winows下使用ssh服务远程登录vbox中的虚拟机
    Shell脚本获取C语言可执行程序返回值
    memcpy与memmove的区别
    常用软件
    书目
    顺序表C语言版
    限定符【const】用法大全
    极大极小搜索和α-β剪枝
  • 原文地址:https://www.cnblogs.com/xjnotxj/p/10577995.html
Copyright © 2011-2022 走看看