zoukankan      html  css  js  c++  java
  • 在服务器之间传输文件

    因为imageNet放在230节点上,如果不把数据down到其他服务器上的话,只能使用polyaxon调度跑代码,而在使用polyaxon过程中程序不知道为什么总是崩掉,猜测和读取imageNet的图片路径有关,因此想了另一个办法,把数据down下来,一开始想的是先down到本地,再上传到其他服务器上,而光光down val这个文件(4个多G)就用了1个多小时,可想而知down train这个文件,再把train和val上传到服务器一共需要耗时多久了,因此学习了scp这个命令,可以在服务器之间进行文件拷贝传输,命令是:

    scp -r /home/data/plx-data/imageNet/val hyq@10.15.82.235:/home/hyq/data/imageNet

    在230上运行,也就是把230上的/home/data/plx-data/imageNet/val路径下所有文件,包括val这个文件夹,拷贝到235的/home/hyq/data/imageNet路径下,但是我仍然需要在后台执行,这样的话才方便,不会因为关电脑而导致传输失败,因此使用了nohup命令,但是失败了,显示进程状态是T

    nohup scp -r /home/data/plx-data/imageNet/val hyq@10.15.82.235:/home/hyq/data/imageNet &

    因此换了另一种方法,

    先直接用scp去跑,然后ctrl+z暂停进程,jobs查看,发现进程状态是Stopped,

    然后把该进程放入后台,bg %n,n是jobs查看被暂停的进程,再次jobs查看,发现进程已经在Running了

    然后使用disown -h %n将这个进程忽略HUP信号(不懂,猜测可能是忽略关闭服务器通信的信号)

    退出登录,再次登录查看ps -ef|grep scp

    ----------------------------------------------------------------------------------------------

    参考https://www.cnblogs.com/ocp-100/p/10843315.html

  • 相关阅读:
    第七单元
    第六单元
    第五单元
    第四单元
    第三章
    第二单元
    第一单元
    单词
    机器学习和模式识别的区别
    TODO-项目
  • 原文地址:https://www.cnblogs.com/yqpy/p/11907336.html
Copyright © 2011-2022 走看看