zoukankan      html  css  js  c++  java
  • hadoopHDFS操作用法

    HDFS操作
    1 格式化Hadoop
    启动之前,我们先要格式化namenode,先进入/home/hdfs/hdfsinstall/hadoop目录,执行下面的命令
    bin/hadoop  namenode  -format
    如果不成功,就去HADOOP_LOG_DIR目录下去查看日志文件。
    
    2 启动hadoop
    在bin/下面有很多启动脚本,可以根据自己的需要来启动。
    * start-all.sh 启动所有的Hadoop守护。包括namenode, datanode, jobtracker, tasktrack
    * stop-all.sh 停止所有的Hadoop
    * start-mapred.sh 启动Map/Reduce守护。包括Jobtracker和Tasktrack
    * stop-mapred.sh 停止Map/Reduce守护
    * start-dfs.sh 启动Hadoop DFS守护.Namenode和Datanode
    * stop-dfs.sh 停止DFS守护
    在这里,简单启动DFS:bin/start-dfs.sh
    
    3 停止hadoop
    bin/stop-dfs.sh
    或者
    bin/stop-all.sh
    
    4 建立/删除目录
    bin/hadoop  dfs  -mkdir  testdir
    bin/hadoop  dfs  -rmr  testdir
    在HDFS中建立一个名为testdir的目录
    
    5 复制文件
    bin/hadoop  dfs  -put  /home/hdfs/hdfsinstall/hadoop/hadoop-0.18.1-tools.jar  testdir/ hadoop-0.18.1-tools.jar
    把本地文件large.zip拷贝到HDFS的根目录下,文件名为testfile.zip
    
    6 查看现有文件
    bin/hadoop  dfs  -ls
    bin/hadoop  dfs  -ls testdir
    
    7 查看当前文件系统状态
    bin/hadoop dfsadmin -report  
    

      

  • 相关阅读:
    Lambda 方法引用
    day7面向对象--进阶
    day6作业--选课系统
    day6面向对象--继承、多态
    day6面向对象
    day5模块学习--hashlib模块
    day5模块学习--configparser模块
    day5模块学习--yaml文件处理
    day5模块学习--XML模块
    day5模块学习--shelve模块
  • 原文地址:https://www.cnblogs.com/yuchunju/p/2530982.html
Copyright © 2011-2022 走看看