hadoop集群搭建

• 同步时间

• 设置主机名

• 配置ip、主机名映射

• 配置SSH免密登录

• 配置防火墙

• JDK环境安装

• 上传hadoop安装包到/export/softwares/

  • tar -zxvf hadoop-2.7.4-with-centos-6.7.tar.gz -C /export/servers/

• 修改配置文件

  • hadoop-env.sh

    • export JAVA_HOME=/export/servers/jdk1.8.0_65

  • core-site.xml（放在configuration里面）

    • <property>
              <name>fs.defaultFS</name>
              <value>hdfs://node001:9000</value>
      </property>
      <property>
              <name>hadoop.tmp.dir</name>
              <value>/export/data/hadoopdata</value>
      </property>

  • hdfs-site.xml（放在configuration里面）

    • <property>
              <name>dfs.replication</name>
              <value>2</value>
      </property>
      <property>
              <name>dfs.namenode.secondary.http-address</name>
              <value>node002:50090</value>
      </property>

  • mapred-site.xml（放在configuration里面）

    • mv mapred-site.xml.template mapred-site.xml

    • <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
      </property>

  • yarn-site.xml（放在configuration里面）

    • <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>node001</value>
      </property>
          <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
      </property>

  • slaves

    • 删除localhost
      添加
      node001
      node002
      node003

• 将hadoop添加到环境变量

  • vim /etc/proflie

    • export HADOOP_HOME=/export/servers/hadoop-2.7.4 
      export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

• 分发到其他两台机器

  • scp -r /export/servers/hadoop-2.7.4/ root@node002:/export/servers/

  • scp -r /export/servers/hadoop-2.7.4/ root@node003:/export/servers/

  • scp -r /etc/profile root@node002:/etc/

  • scp -r /etc/profile root@node003:/etc/

• 三台机器重新加载环境变量

  • source /etc/profile