zoukankan      html  css  js  c++  java
  • 大文件多个服务器复制拷贝

    前同事问了一个问题,一个大文件(如几个G),要复制到1000台服务器上,如何实现

    第一想到的方法是:写一个脚本,循环1000台服务器,向每台服务器scp文件。或者向每台服务器scp一个脚本,这个脚本的内容是向这太服务器scp拉文件(实质上可能并没有什么差别)

    之后觉得这样太慢了。于是想到了优化的方案。

      定义俩个变量  Queue hasFile,Queue noFile;一个是已经有文件的服务器,一个是没有文件的数据。

      用hasFile里的服务器向noFile里的服务器一对一上传。上传时将俩个服务器数据分别从hasFile,noFile取出,如果上传成功,则将俩个服务器数据都保存到hasFile,在进行前面的操作,如果失败,则各回原位,同样再进行前面的操作。

      但是如何判断已经上传成功,暂时还没研究怎么实现,后续待优化

  • 相关阅读:
    访问修饰符的权限。
    字符编码
    3/11 作业
    3/10 作业
    作业 3/9
    流程控制之for循环
    Exception in createBlockOutputStream
    windows上传文件到 linux的hdfs
    win10 配置 hadoop-2.7.2
    hadoop 源码编译
  • 原文地址:https://www.cnblogs.com/jaxlove-it/p/9109958.html
Copyright © 2011-2022 走看看