zoukankan      html  css  js  c++  java
  • hadoop安装以及集群搭建

    准备工作:一个安装了Java的linux系统,和hadoop-1.2.1-bin.tar.gz安装包

    1.将hadoop-1.2.1-bin.tar.gz文件解压到/usr/local/src文件中

    2.cd /hadoop-1.2.1中,创建一个临时文件:mkdir tmp

    3.进入hadoop的配置文件目录中:cd /conf

    4.修改core-site.xml文件:vim core-site.xml

     5.修改mapred-site.xml文件:vim mapred-site.xml

     6.修改hadoop-env.sh文件:vim hadoop-env.sh,把java环境配置进去

     7.然后修改hosts文件,vim /etc/hosts,其中ip为主机master的ip,slave1的ip,slave2的ip,然后hostname master

     8.长久修改名称的方法,还要修改/etc/sysconfig/network:vim /etc/sysconfig/network

    9.关掉防火墙:/etc/init.d/iptables stop

    10.将机器复制两份,并将hostname中的节点ip配置进ifcfg-etch0的文件中,配置完后先看能否联网

    11.配置matser与从节点之间的无秘访问,首先在三台机器上都生成密钥:ssh-keygen,然后进入~/.ssh中

    12.再在master上的~/.ssh文件中创建文件,authorized_keys,并将三个文件的公钥文件,id_rsa.pub,里面的内容复制到authorized_keys中

    13.将authorized_keys文件通过scp -rp authorized_keys slave1:~/.ssh,将文件拷贝进从节点中

    14.然后使用ssh slave1,进行验证

    15.所有操作完成后开始启动hadoop,进入hadoop文件的bin文件中,首先使用./hadoop namebode -format格式化名称节点,然后使用./start-all.sh启动所有节点,如果启动成功,使用jps可以看到:

     这些节点处于运行状态。如果启动失败,或者namenode没有启动,就要仔细排查,core-site.xml,mapred-site.xml等文件有没有问题,如果没有,就使用./stop-all.sh停掉所有节点,并再次使用./hadoop namebode -format命令进行格式化,再启动

     

  • 相关阅读:
    破解VNC密码
    word无法插入页码
    修改windows远程桌面端口号
    系统每次进入桌面报错“由于启动计算机时出现了页面文件配置问题”
    树梅派安装GMChess中国象棋
    Linux命令Top详解
    树梅派修改root密码及切换账户
    树梅派安装截图工具
    Linux有趣的应用,画只小猫陪伴你
    Windows 10访问XP系统共享文件报”因为文件共享不安全,所以你不能连接到文件共享。。。“
  • 原文地址:https://www.cnblogs.com/SoftwareBuilding/p/14209082.html
Copyright © 2011-2022 走看看