zoukankan      html  css  js  c++  java
  • Python多环境管理神器(Anaconda)

    为了解决python多版本共存,解决不同版本之间的依赖冲突,虚拟环境隔离等问题,我们前面介绍了venv、virtualenv、virtualenvwrapper、pyenv、pipenv等众多工具。下面我们再介绍一个非常强大的多环境管理神器——Anaconda。

    Anaconda (强大)

    1、什么是Anaconda

    Anaconda是专注于数据分析的Python发行版本,包含了conda、Python等190多个科学包及其依赖项。Anaconda通过管理工具包、开发环境、Python版本,大大简化了你的工作流程。不仅可以方便地安装、更新、卸载工具包,而且安装时能自动安装相应的依赖包,同时还能使用不同的虚拟环境隔离不同要求的项目。安装Acaconda默认的Python是2.7;安装Acaconda3默认的Python是3.6

    2、什么是Conda

    Conda是一个开源的包、虚拟环境管理器,可以用于在同一个机器上安装不同版本的软件包及其依赖,并能够在不同的环境之间切换,它的包管理类似PIP。

    packages 管理: 可以使用 conda 来安装、更新 、卸载工具包 ,并且它更关注于数据科学相关的工具包。在安装 anaconda 时就预先集成了像 Numpy、Scipy、 pandas、Scikit-learn 这些在数据分析中常用的包。另外值得一提的是,conda 并不仅仅管理Python的工具包,它也能安装非python的包。比如在新版的 Anaconda 中就可以安装R语言的集成开发环境 Rstudio。

    虚拟环境管理: 在conda中可以建立多个虚拟环境,用于隔离不同项目所需的不同版本的工具包,以防止版本上的冲突。对纠结于 Python 版本的同学们,我们也可以建立 Python2 和 Python3 两个环境,来分别运行不同版本的 Python 代码。

    3、安装Anaconda:

    去官网下载指定的版本的Anaconda:https://repo.anaconda.com/archive/

    我们下载的是Anaconda3-5.2.0-Linux-x86_64.sh

    wget https://repo.anaconda.com/archive/Anaconda3-5.2.0-Linux-x86_64.sh

    安装前,先安装bunzip2依赖包,否则后面安装会报错:bunzip2: command not found

    yum install -y bzip2

    运行该脚本,进行安装

    bash Anaconda3-5.2.0-Linux-x86_64.sh

    在安装的过程中,会问你安装路径,直接回车默认就可以了,默认安装到了/root/anaconda3目录下。

    有个地方问你是否将anaconda安装路径加入到环境变量(.bashrc)中,输入yes,默认的是no,

    最后一步有一个询问你是否安装vscode,emm如果你没有需要就输入no,毕竟在服务器里面都是用vim编辑器的,没必要多装一个。

    安装完成如下图:

    clipboard

    配置anaconda环境变量:

    默认是安装在/root/anaconda3/下的,如果不是,请修改路径

    vim /etc/profile
    
    ## Anaconda
    export PATH=$PATH:/root/anaconda3/bin

    加载使立即生效

    source /etc/profile

    注意:如果之前服务器上已经编译安装过python了,将它重命名,否则系统会自动找到之前编译的python3环境,而不会使用Anaconda里的python环境。

    # 注释掉之前编译安装使用的python3.9环境
    mv /usr/local/python3.9/ /usr/local/python3.9_bak

    测试Anaconda安装是否正确:

    # 查看python3的路径是否正确
    which python3
    # 启动python3看环境是否正确
    python3

    如下图:

    clipboard

    至此,Anaconda安装完成。

    Conda自身管理

    更新conda

    # 更新anaconda
    conda update conda

    更新anaconda元数据包

    # 更新anaconda元数据包
    conda update anaconda

    .condarc

    删除 .condarc 文件这个文件默认没有,只有你执行过 conda config 命令以后才会自动建立。该文件是conda的配置文件

    是YAML格式。比如你可以设置安装包的渠道,是否自动更新conda,是否允许其他渠道等设置。

    4、Python环境管理

    # 创建一个新环境,并制定python解释器版本,没有会自动下载
    # python27 是环境名称
    # python=2.7 是要安装的包和版本,默认会为我们寻找2.7.x中的最新版本
    # anaconda 是创建环境时同时要安装的包,这个可以不写
    conda create -n python27 python=2.7 anaconda
    conda create -n python36 python=3.6
    conda create -n python37 python=3.7
    
    # 更新Python,进入某个环境运行下面的命令,将更新当前环境的Python到最新分支版本。比如当前是3.5,更新后将会到最新的3.X
    conda update python

    5、虚拟环境管理

    查看当前托管的所有虚拟环境列表

    [root@linux121 ~]# conda env list
    # conda environments:
    #
    base                  *  /root/anaconda3

    创建虚拟环境

     # 创建一个名为myvenv 的环境,指定Python版本是3.10
     # (不用管是3.10.x,conda会为我们自动寻找3.10.x中的最新版本)
     conda create --name myvenv python=3.10

    虚拟环境不会在当前环境下创建虚拟环境目录,所有的虚拟环境目录默认放在:

    /root/anaconda3/envs/

    激活虚拟环境

    activate myvenv        # for Windows
    source activate myvenv # for Linux & Mac
    conda activate myvenv  # 新版使用这个

    退出虚拟环境

     conda deactivate

    如下图:

    clipboard

    导出依赖包:

    导出环境,它会把当前环境中安装的包以及版本号都导出去,这样你就可以拿到另外的机器上来重新构建一个相同的环境

    导出的内容包括环境名称,安装渠道,该环境安装的包以及版本号。

    # 首先进入名称叫做python36环境
    conda activate myvenv 
    # 导出当前环境到指定文件
    conda env export > environment.yml  
    # 通过环境文件建立环境,不需要指定环境名称,因为文件中包含名称字段
    conda env create -f environment.yml 

    删除虚拟环境

    # 方式一:
    conda env remove --name myvenv
    # 方式二:
    conda remove -n myvenv --all

    克隆虚拟环境:

    conda create -n myvenv2 --clone myvenv

    克隆如下图:

    clipboard

    6、包管理

    安装包

    conda install --name myvenv scipy # 安装包到指定环境中
    conda install scipy # 安装包到当前环境中
    conda install scipy=0.15.0  # 安装指定版本的包,到当前环境
    conda install scipy curl # 安装多个包
    conda install -c anaconda django # -c是指定渠道名称,也就是用哪个渠道安装django。

    卸载包:

    # 卸载包
    conda remove 包名  # 删除当前环境中的指定包
    conda remove -n myvenv numpy # 删除指定环境中的指定包
    conda remove -n myvenv --all # 删除指定环境中的所有包,等同于删除环境

    更新包:

    conda update 包名  # 更新当前环境指定的包
    conda update -n myvenv numpy # 更新指定环境中的指定包

    查看当前packages:

    # 查看当前已经安装的packages
    conda list
    conda list -n myvenv # 查看指定环境中安装的所有包

    如下图:

    clipboard

    查找可安装的包:

    精确查找

    conda search --full-name <package_full_name>
    # 例如:
    conda search --full-name python

    模糊查找:

    conda search jieba
    # 支持正则
    conda search *py*

    7、镜像源管理

    conda默认使用的是官方镜像源,是在国外,安装下载会很慢,所以强烈建议切换为国内镜像源。

    查看当前镜像源配置

    # 查看当前的镜像源
    conda config --show channels
    # 查看详细信息
    conda config --show

    如下图:default的地址默认就是官方地址,https://repo.anaconda.com/pkgs/main

    clipboard

    添加清华大学镜像源

    # 添加Anaconda的TUNA镜像
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
    
    # 设置搜索时显示通道地址,这个可以不加,只是为了看一下是否从镜像站下载
    conda config --set show_channel_urls yes

    再次查看镜像地址:

    conda config --show channels

    如下图;

    clipboard

    添加第三方镜像源:

    ##  Conda Forge
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
    ## msys2
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
    ## bioconda
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
    ## menpo
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/
    ## pytorch
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

    其他镜像源:

    清华大学其他镜像源地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/

    clipboard

    删除镜像源

    conda config --remove channels <URL>  ## 删除原来的旧镜像
    
    # 如下
    conda config --remove channels default
    conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
    conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

    注意:如果切换镜像源后,安装过程出现报错:

    CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/noarch/repodata.json>

    解决办法:参考:https://www.freesion.com/article/67891423758/

    1、首先把镜像源地址,从https替换为http

    2、删除/root/.condarc中的- default

    即可解决

    .condarc文件说明:

    文件这个文件默认没有,只有你执行过 conda config 命令以后才会自动建立。该文件是conda的配置文件,是YAML格式。比如你可以设置安装包的渠道,是否自动更新conda,是否允许其他渠道等设置。下面是我的配置文件说明。这些不是必须的。但是在国内建议设置channels,这个在上面已经说过。所以通常你不需要关注这个文件。

    参考:https://mirror.tuna.tsinghua.edu.cn/help/anaconda/

    文件样例如下:

    vim /root/.condarc

    channels:
      - defaults
    show_channel_urls: true
    default_channels:
      - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
      - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
      - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
    custom_channels:
      conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

    清除索引缓存:

    运行 conda clean -i 清除索引缓存,保证用的是镜像站提供的索引。

    conda clean -i

    8、当conda中没有这个包时:

    会报错,如下:

    PackagesNotFoundError: The following packages are not available from current channels:

    clipboard

    方法一:使用pip安装

    # 安装不在conda或者acaconda的包,当你安装的包不在conda管理范围的时候可以使用pip来安装
    conda install pip  # 首先在当前环境中安装pip
    pip install jieba   # 其次在通过PIP命令在当前环境中安装包

    方法二:搜索包含该安装包的渠道

    anaconda search  jieba

    搜索如下图:

    clipboard

    选择其中一个版本,我们选择了conda-forge/jieba模块

    展示该版本的信息

    anaconda show conda‐forge/jieba

    如下图,显示了安装渠道路径

    clipboard

    找到对应的渠道信息,如上面最后一行,直接进行安装即可

    conda install --channel https://conda.anaconda.org/conda-forge jieba

    如果最开始你就知道要这个渠道模块,也可以这样直接安装:

    conda install -c conda-forge jieba

    方法三:去conda官网搜索包

    说明:对于那些无法通过conda安装或者从Anaconda.org获得的包,我们通常可以用pip来安装包。

    pip只是一个包管理器,所以它不能为你管理环境。pip甚至不能升级python,因为它不像conda一样把python当做包来处理。但是它可以安装一些conda安装不了的包,pip和conda都集成在Anaconda或miniconda里边。

    另外你还可以去 官网 搜索:https://anaconda.org/

    clipboard

    如下,找到很多渠道:

    clipboard

    找到安装路径:

    clipboard

    再使用该安装路径安装即可:

    conda install -c conda-forge jieba

    方法四:去pypi下载安装包,手动安装

    如果下载太慢,可以去官网下载,下载jieba的安装包,然后解压到pkgs目录上,参考链接:https://www.pianshen.com/article/18251601207/

    官网链接:https://pypi.org/project/jieba/#files

    解压之后,执行包里的setup.py文件也可以安装成功。

    wget https://files.pythonhosted.org/packages/c6/cb/18eeb235f833b726522d7ebed54f2278ce28ba9438e3135ab0278d9792a2/jieba-0.42.1.tar.gz
    tar xf jieba-0.42.1.tar.gz 
    mv jieba-0.42.1 /root/anaconda3/pkgs/
    cd /root/anaconda3/pkgs/jieba-0.42.1/
    # 如果要安装到指定虚拟环境中,需要先激活环境,再执行install
    source activate job_recommended
    python setup.py install

    如果安装的时候,没有进入虚拟环境,可以在安装后,重新激活虚拟环境,再安装一次,安装到虚拟环境中,如下,

    clipboard

    9、Miniconda

    Miniconda 是一个 Anaconda 的轻量级替代,默认只包含了 python 和 conda,但是可以通过 pip 和 conda 来安装所需要的包。

    Miniconda相比Anaconda,去掉了科学计算的相关包,更加轻量级,没有那么臃肿。可以认为是Anaconda的最小化版本,用法与Anaconda完全一致。

    Miniconda 安装包可以到 https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/ 下载。

    10、图形界面管理

    Anaconda还提供了UI界面,进行图形化管理。

    比如在windows中,安装完成后,点击Anaconda Navigator

    如图所示:首页显示的是一些自带的工具

    clipboard

    点击Environments,可以在这里进行环境管理的操作。

    包括:创建虚拟环境,导入虚拟环境,进入虚拟环境,以及查看安装包

    clipboard

    创建虚拟环境myvenv

    clipboard

    搜索包安装:

    clipboard

    点击channels可以添加渠道

    clipboard

    11、Jupyter Notebook

    Anaconda自带了Jupyter Notebook,我们可以直接启动Jupyter Notebook。

    window启动:

    clipboard

    Linux启动:

    如果没有安装Anaconda,就需要手动安装一下jupyter notebook

    pip install jupyter notebook

    因为Anaconda自带了jupyter,所以直接启动:

    jupyter notebook --allow-root

    注意,默认是不允许外部访问的,需要配置一下远程访问支持:

    生成jupyter配置文件

    #root用户:
    jupyter notebook --generate-config --allow-root
    #非root用户
    jupyter notebook --generate-config

    如下图:

    clipboard

    修改配置

    vim /root/.jupyter/jupyter_notebook_config.py

    增加以下两行:

    c.NotebookApp.ip = '*'
    c.NotebookApp.open_browser = False

    配置密码:

    jupyter notebook password

    这里密码输入123456

    clipboard

    启动jupyter notebook:

    jupyter notebook --allow-root

    如下图所示:

    clipboard

    也可以后台启动:

    nohup jupyter notebook --allow-root > jupyter.log 2>&1 &

    打开网页访问:默认8888端口

    输入地址:(配置好hosts映射)http://linux121:8888/

    输入密码123456

    clipboard

    登录如下图:

    里面的文件,就是我们之前启动jupyter notebook的当前目录下的内容

    clipboard

    新建一个文件:

    clipboard

    输入python代码,点击run运行如下:

    import time, sys
    for i in range(8):
        print(i)
        time.sleep(0.5)

    如下图所示:

    clipboard

    更多jupyter notebook,参考:https://jupyter-notebook.readthedocs.io/en/latest/

    12、优缺点分析:

    1、功能强大,而且还有UI界面。

    2、支持python2、python3以及windows、linux、mac等多平台。

    3、conda安装可以自动解决依赖关系,之前的pip可能不会安装所有依赖包,导致出现依赖问题。

    4、Anaconda,显得有点厚重,臃肿,但是可以用轻量级的miniconda替换。

    5、conda安装软件需要解析依赖关系,而且默认连的国外的镜像源,所以conda安装可能很慢。

    6、包含大量的科学计算的包,适合做数据分析或者喜欢UI界面的人。


    参考引用:

    https://www.cnblogs.com/rexcheny/p/9484309.html

    https://zhuanlan.zhihu.com/p/106588887

  • 相关阅读:
    WebSocket客户端连接不上和掉线的问题以及解决方案
    中国(China): 上海地图和经维度
    在程序开发中怎样写SQL语句可以提高数据库的性能
    C# 正则表达式
    asp.net mvc 2.0 【1】
    c#获取相对路径的八种方法
    ASP.NET 常用对象
    Python自动化开发基础和数据类型
    Python自动化开发数据类型之集合
    Python自动化开发数据类型之字符串
  • 原文地址:https://www.cnblogs.com/doublexi/p/15796263.html
Copyright © 2011-2022 走看看