zoukankan      html  css  js  c++  java
  • HDFS系统命令

    hdfs dfs -ls /

    (1) 列出HDFS下的文件

    /usr/local/hadoop$bin/hadoop dfs -ls

    (2) 列出HDFS文件下名为in的文档中的文件

    /usr/local/hadoop$bin/hadoop dfs -ls in

    (3) 上传文件

    将hadoop目录下的test1文件上传到HDFS上并重命名为test:

    /usr/local/hadoop$bin/hadoop dfs -put test1 test

    (4) 文件被复制到本地系统中

    将HDFS中的in文件复制到本地系统并命名为getin:

    /usr/local/hadoop$bin/hadoop dfs -get in getin

    (5) 删除文档

    删除HDFS下名为out的文档:

    /usr/local/hadoop$bin/hadoop dfs -rmr out

    (6) 查看文件

    查看HDFS下in文件中的内容:

    /usr/local/hadoop$bin/hadoop dfs -cat in/*

    (7) 建立目录

    /usr/local/hadoop$bin/hadoop dfs -mkdir /user/hadoop/examples  #(目录/目录名)

    只能一级一级的建目录。

    (8) 复制文件

    /usr/local/hadoop$bin/hadoop dfs -copyFromLocal  #源路径 路径

    (9)通过Hadoop命令把两个文件的内容合并起来

    hdfs dfs -getmerge  #位于hdfs中的原文件(里面有多个文件) 合并后的文件名
    例如:
    hdfs dfs -getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult

    2     管理与更新

    (1) 执行基本信息

    查看HDFS的基本统计信息:

    /usr/local/hadoop$bin/hadoop dfsadmin -report

    (2) 退出安全模式

    NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态,在这个阶段,文件系统不允许有任何修改。

    系统显示Name node in safe mode,说明系统正处于安全模式,这时只需要等待十几秒即可,也可通过下面的命令退出安全模式:

    /usr/local/hadoop$bin/hadoop dfsadmin -safemode leave

    (3) 进入安全模式

    在必要情况下,可以通过以下命令把HDFS置于安全模式:

    /usr/local/hadoop$bin/hadoop dfsadmin -safemode enter

    (4)节点添加

    添加一个新的DataNode节点,先在新加节点上安装好Hadoop,要和NameNode使用相同的配置(可以直接从NameNode复制),修改$HADOOP_HOME/conf/master文件,加入NameNode主机名。然后在NameNode节点上修改$HADOOP_HOME/conf/slaves文件,加入新节点名,再建立新加节点无密码的SSH连接,运行启动命令为:

    /usr/local/hadoop$bin/start-all.sh

    (5)负载均衡

    HDFS的数据在各个DataNode中的分布可能很不均匀,尤其是在DataNode节点出现故障或新增DataNode节点时。新增数据块时NameNode对DataNode节点的选择策略也有可能导致数据块分布不均匀。用户可以使用命令重新平衡DataNode上的数据块的分布:

    /usr/local/hadoop$bin/start-balancer.sh

     注:合并后的文件位于当前目录,不在hdfs中,是本地文件

    每天进步一点点,快乐生活多一点。
  • 相关阅读:
    JB开发之二 [jailbreak,越狱开发研究]
    iOS9 Https技术预研
    Tweak和app交互方案【进程通信】
    iOS设备抓包终极解决方案(支持https)
    Anti-Anti dylib(反 反-dylib钩子(Anti-tweak))
    Hook ptrace 调试加入了ptrace函数的程序
    How do I determine if I'm being run under the debugger?
    个人整理的一些iOS Entitlements
    SQLite在多线程环境下的应用
    别的程序员是怎么读你的简历的
  • 原文地址:https://www.cnblogs.com/yiruliu/p/10874600.html
Copyright © 2011-2022 走看看