zoukankan      html  css  js  c++  java
  • hadoop迁移

    hadoop文件目录结构

    http://192.168.21.110:50070/explorer.html#/

    登录后会看到hadoop的数据目录
    

    报错解决

    Permission denied: user=dr.who, access=WRITE, inode="/":root:supergroup:drwxr-xr-x
    权限和安全限制问题解决
    hadoop dfsadmin -*safemode* leave     
    hdfs dfs -chmod -R 755 /tmp
    

    创建数据目录

    hdfs dfs -mkdir /insight-test     	 #创建一个新的目录
    hdfs dfs -put xxx /insight-test		 #推送本地目录当中的数据到指定的hdfs的目录当中
    hdfs dfs  -rm -r /insight-test			#删除hdfs的目录
    hdfs dfs -cat /insight-test/xxx/*   #查看hdfs路径下的数据
    
    # 手动迁移
    hadoop fs -get src localDes 
    将文件或目录从HDFS中的src拷贝到本地文件系统的localDest
    hadoop fs -put localSrc dest 
    将文件或者从本地推送到hdfs的文件系统中
    

    Hadoop环境HDFS端口是9000,同版本有网络的迁移

    hadoop distcp src des
    hadoop distcp hdfs://localhost:9000/tmp/* hdfs://localhost:9000/user/
    

    这是相同版本的hadoop迁移 . 如果hadoop版本修改过了 需要增加迁移参数

    https://blog.csdn.net/lingeio/article/details/94626441
    下面有带参数的不同版本的迁移
    
  • 相关阅读:
    winston写日志(译)
    H5打字机特效
    Flutter 手指放大 平移 旋转 Widget
    51nod1432【贪心】
    死锁的例子
    C# SpinLock用法。
    鼓音效
    rm-rf
    cdoj 1334 郭大侠与Rabi-Ribi Label:贪心+数据结构
    1092 回文字符串(51nod)
  • 原文地址:https://www.cnblogs.com/sxgaofeng/p/13131851.html
Copyright © 2011-2022 走看看