zoukankan      html  css  js  c++  java
  • Hadoop术语及其命令

    术语

    1. Namenode: HDFS采用master/slave架构。一个HDFS集群由1个Namenode和多个Datanodes组成。Namenode是一个中心服务器。负责datanode节点映射、执行文件重命名等。

    2.Datanode,节点,负责客户端的读写请求。

    3. Secondarynamenode,用来保存namenode对HDFS metadata信息备份。

    4. Jobtracker和Tasktracker。master负责调度task运行在slave,slave  负责执行task。

    执行

    1. 对HDFS进行格式化

    bin/hadoop namenode -format

    2. 启动Hadoop守护进程

    bin/start-all.sh

    注:1. Hadoop守护进程的日志写到$HADOOP_HOME/logs

       2.NameNode和JobTracker网络接口

       Namenode - http://localhost:50070

       JobTracker - http://localhost:50030

    3. 将输入文件拷贝到分布式文件系统

    bin/hadoop fs -put conf input

    4. 停止守护进程

    bin/stop-all.sh

  • 相关阅读:
    python 笔记8
    python笔记6
    python笔记5
    python笔记4
    python笔记3
    python课程2
    cobbler 坑爹指南
    hadoop filesystem 删除文件 复制文件 重命名文件
    hadoop 文件 复制 移动 FileUtil.copy
    soinn
  • 原文地址:https://www.cnblogs.com/chenqr/p/11198542.html
Copyright © 2011-2022 走看看