zoukankan      html  css  js  c++  java
  • 阿里云GPU服务器配置深度学习环境-远程访问-centos,cuda,cudnn,tensorflow,keras,jupyter notebook

    一、准备工作:

    1、阿里云相关设置:

    先给阿里云账户充值100元。

    选择阿里云ECS云服务器

    搜索:CentOS 7.3(预装NVIDIA GPU驱动和深度学习框架)

    安全组添加8888权限

    8888/8888

    0.0.0.0/0

    2、软件相关设置:

    1)、使用putty工具链接linux服务器

    小字体看的眼晕的话,这里可以改字体,16-18号看起来就可以很舒服了

    这里是坑,绝对不要填0,保持激活状态

     

    回到这里,双击刚才保存好的链接信息

    PS:putty终端操作linux鼠标右键是粘贴功能。

    (2)、Winscp工具传输文件

    传文件,传模型都可以

    二、Linux相关配置:

    1、管理员账户添加

    添加用户

    useradd run

    设置密码

    passwd run 

    设置用户权限

    usermod -g root run 

    查看所有用户信息

    cat /etc/passwd 

    重置配置文件,需要root权限才能覆盖,所以丢失该文件之后要第一时间保证root的登录状态,重启就麻烦了(要么重装系统,要么在机箱上装系统盘进行恢复)

    cp /etc/passwd- /etc/passwd

    在root下编辑passwd

    vi /etc/passwd 

    如果我新添加的用户名是test那么:

    第三个参数设为0即可

    test:x:0:0::/home/test:/bin/bash 

    光标移动到响应位置后按insert键进行修改。

    修改完成后按ESC,输入“:wq”保存即可退出

     

    #切换用户,切换到run用户 

    su run 

    命令行之前是#就说明是root权限

    更改目录权限

    sudo chmod -R 777 /home/run/

    2、conda环境配置

    (1)安装bzip2

    yum install -y bzip2

     

    (2)、安装anaconda

    1)、下载

    sudo wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.3.0-Linux-x86_64.sh

    2)、安装

    sudo bash Anaconda3-5.3.0-Linux-x86_64.sh

    回车

    空格

    Yes

    目录就写:

    /home/run/anaconda3

    安装中。。。。。。

    如果出现这句话:

    一定要打yes,意思是是否愿意将conda添加到环境变量,实测这里打yes没卵用

    (3)、conda环境变量配置:

    如果没有出现是否愿意将conda添加到环境变量这句话,

    就按照下面的步骤操作(出现了打yes也要按照这个来,因为打yes没卵用)

    添加anaconda环境变量 
    输入命令:

    vi /etc/profile 

    进入 /etc/profile 文件,在文件末尾加上如下两行代码

    PATH=$PATH:/home/run/anaconda3/bin  #路径名跟自己实际情况而定

    export PATH

    ESC,:wq保存

     使配置生效

    source /etc/profile

    conda --version

    这里看到显示版本则说明配置成功

    (4)conda更新

    更新conda install的源,清华源

    conda config --add channels 'https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/'

    设置搜索时显示通道地址

    conda config --set show_channel_urls yes

    更新一下conda

    conda update conda

    3、jupyter notebook环境配置:

    (1)、创建jupyter notebook运行环境,

    可以方便管理各类库

    conda create -n jupyter_notebook python=3

    激活环境

    source activate jupyter_notebook

    现在是在jupyter的环境下:

    退出环境:后续所有操作都是在jupyter环境中运行,所以不要退出

    source deactivate

    (2)、安装深度学习所需要的所有库

    有conda install尽量用conda install

    如果没有就用pip install

    为什么,因为conda install快啊。

    pip install --upgrade pip

    conda install numpy

    conda install pandas

    conda install tensorflow-gpu

    conda install keras

    pip install jieba

    (3)、安装jupyter notebook

    conda install jupyter notebook

    测试

    jupyter notebook --ip=127.0.0.1 --allow-root

    Ctrl+c退出

    (4)、配置jupyter notebook远程访问

    jupyter notebook --generate-config --allow-root

    生成了一个.py的配置文件

    生成密码:

    ipython

     In [1],In [2]分别是:

    from notebook.auth import passwd
    passwd() 

    Enter password: 自己输入,记住,等会远程登录使用

    Verify password:

    Out[2]: 'sha1:f7a4725c96ae:6f4b9089e295405d0e4a2fdfc3d2209f9dd0214f'

    保存好这个out的密码

    现在打开.py的配置文件:

    vim /home/run/.jupyter/jupyter_notebook_config.py

    在最后一行加入:

    c.NotebookApp.allow_root = True

    c.NotebookApp.ip = '*'

    c.NotebookApp.password = 'sha1:f7a4725c96ae:6f4b9089e295405d0e4a2fdfc3d2209f9dd0214f'#这里的密码是刚刚生成的密码

    c.NotebookApp.port= 8888

    c.NotebookApp.notebook_dir = "/home/run/" #默认目录

    c.NotebookApp.open_browser = False

    在按ESC,输入::wq保存退出

    (5)、运行jupyter

    jupyter notebook --allow-root

    All ip 说明允许所有IP进行访问。

    (6)、jupyter本地链接

    现在打开浏览器:

    输入服务器IP:8888进入

    再输入前边passwd()后自己设置的密码:

    所有的操作就和本地的jupyter notebook是一样的了

    这就是环境配置完成了。

    三、跑代码

    别忘了保存模型文件

    本地编辑好代码之后,直接粘贴在阿里云的notebook里,时间就是金钱啊,要珍惜每一秒钟。

    四、创建自定义镜像

     

    创建好之后每次购买阿里云GPU(按量付费)的话,就不用每次都配置了,镜像文件选择自定义镜像就可以了。

    五、释放实例

    跑完代码之后,模型文件保存到本地之后,到阿里云的控制台,选择左侧实例,找到GPU服务器,右侧找到更多释放实例→立即释放

    六、再次启动

    再次使用实例的时候,那些繁杂的安装就不需要了,前面的自定义镜像就相当于GHOST一个镜像,进行系统还原一样。

    只需要:

    1,启动激活notebook环境,

    source activate jupyter_notebook

    2,运行jupyter notebook

    jupyter notebook --allow-root

    3,启动浏览器,新GPU服务IP:8888进入。

    4,Putty+winscp链接新服务器。

    就可以了。

  • 相关阅读:
    winform控件库二次开发yy
    Oracle数据库表死锁和解锁
    集合去重筛选
    linux手动生成core dump
    HandlerSocket简介以及php使用handlersocket
    使用truss、strace或ltrace诊断软件的“疑难杂症”
    Sqlserver 2012 导出表数据为SQL脚本
    MySQL的索引为什么使用B+Tree
    计算机体系
    docker使用
  • 原文地址:https://www.cnblogs.com/Mjerry/p/9942498.html
Copyright © 2011-2022 走看看