zoukankan      html  css  js  c++  java
  • 吴超老师课程---Hadoop的分布式集群安装

    1.hadoop的分布式安装过程  

    1.1 分布结构   

                主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode
                从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker
        1.2 各节点重新产生ssh加密文件
        1.3 编辑各个节点的/etc/hosts,在该文件中含有所有节点的ip与hostname的映射信息
        1.4 两两节点之间的SSH免密码登陆
                ssh-copy-id -i  hadoop1
                scp /root/.ssh/authorized_keys   hadoop1:/root/.ssh/
        1.5 把hadoop0的hadoop目录下的logs和tmp删除
        1.6 把hadoop0中的jdk、hadoop文件夹复制到hadoop1和hadoop2节点
                scp  -r /usr/local/jdk   hadoop1:/usr/local/
        1.7 把hadoop0的/etc/profile复制到hadoop1和hadoop2节点,在目标节点中执行source  /etc/profile
        1.8 编辑hadoop0的配置文件slaves,改为从节点的hostname,分别是hadoop1和hadoop2
        1.9 格式化,在hadoop0节点执行hadoop namenode -format
        1.10 启动,在hadoop0节点执行start-all.sh
        ****注意:对于配置文件core-site.xml和mapred-site.xml在所有节点中都是相同的内容。
        1.11如果要将主节点的namenode和secondnamenode分离,只需要修改conf/masters  
              将localhost修改为hadoop1,这样secondarynamenode就会移植到hadoop1上了,
              因为secondarynamenode的配置在masters文件上

    2.动态的增加一个hadoop节点
        2.1 配置新节点的环境
        2.2 把新节点的hostname配置到主节点的slaves文件中
        2.3 在新节点,启动进程
                hadoop-daemon.sh start datanode
                hadoop-daemon.sh start tasktracker
        2.4 在主节点执行脚本 hadoop dfsadmin -refreshNodes
    3.动态的下架一个hadoop节点
        

  • 相关阅读:
    GIT在Linux上的安装和使用简介心得
    Android开发环境使用到工具的认识心得
    Android系统移植与驱动开发心得
    嵌入式Linux的调试技术
    硬件抽象层——HAL
    Linux代码的重用与强行卸载Linux驱动
    控制发光二极管
    详细讲解Linux驱动程序
    搭建测试环境——针对S3C6410开发板
    有了源代码,当然还需要编译喽!!
  • 原文地址:https://www.cnblogs.com/hellochennan/p/5365034.html
Copyright © 2011-2022 走看看