zoukankan      html  css  js  c++  java
  • 在服务器之间传输文件

    因为imageNet放在230节点上,如果不把数据down到其他服务器上的话,只能使用polyaxon调度跑代码,而在使用polyaxon过程中程序不知道为什么总是崩掉,猜测和读取imageNet的图片路径有关,因此想了另一个办法,把数据down下来,一开始想的是先down到本地,再上传到其他服务器上,而光光down val这个文件(4个多G)就用了1个多小时,可想而知down train这个文件,再把train和val上传到服务器一共需要耗时多久了,因此学习了scp这个命令,可以在服务器之间进行文件拷贝传输,命令是:

    scp -r /home/data/plx-data/imageNet/val hyq@10.15.82.235:/home/hyq/data/imageNet

    在230上运行,也就是把230上的/home/data/plx-data/imageNet/val路径下所有文件,包括val这个文件夹,拷贝到235的/home/hyq/data/imageNet路径下,但是我仍然需要在后台执行,这样的话才方便,不会因为关电脑而导致传输失败,因此使用了nohup命令,但是失败了,显示进程状态是T

    nohup scp -r /home/data/plx-data/imageNet/val hyq@10.15.82.235:/home/hyq/data/imageNet &

    因此换了另一种方法,

    先直接用scp去跑,然后ctrl+z暂停进程,jobs查看,发现进程状态是Stopped,

    然后把该进程放入后台,bg %n,n是jobs查看被暂停的进程,再次jobs查看,发现进程已经在Running了

    然后使用disown -h %n将这个进程忽略HUP信号(不懂,猜测可能是忽略关闭服务器通信的信号)

    退出登录,再次登录查看ps -ef|grep scp

    ----------------------------------------------------------------------------------------------

    参考https://www.cnblogs.com/ocp-100/p/10843315.html

  • 相关阅读:
    BZOJ 1391: [Ceoi2008]order
    BZOJ 4504: K个串
    2019 年百度之星·程序设计大赛
    POJ 2398 Toy Storage (二分 叉积)
    POJ 2318 TOYS (二分 叉积)
    HDU 6697 Closest Pair of Segments (计算几何 暴力)
    HDU 6695 Welcome Party (贪心)
    HDU 6693 Valentine's Day (概率)
    HDU 6590 Code (判断凸包相交)
    POJ 3805 Separate Points (判断凸包相交)
  • 原文地址:https://www.cnblogs.com/yqpy/p/11907336.html
Copyright © 2011-2022 走看看