zoukankan      html  css  js  c++  java
  • Hadoop集群的安装与配置(centos 6.5)

    一、Hadoop搭建准备(centOs6.5  每个系统都要有同一个用户,如:hadoop

     

        1IP的配置

            包括MasterSlavesIP配置,之间能够相互ping通;

            例如:

            192.168.1.2   Master

            192.168.1.3   Slave-1

            192.168.1.4   Slave-2

            192.168.1.5   Slave-3

            

            其中每台机子配置IP的过程如下:

            vi   /etc/sysconfig/network                                  //配置hostName

            vi   /etc/sysconfig/network-script/ifcfg-eth0       //配置ip 

            vi    /etc/hosts                   //配置hosts(所有集群的IP地址和对应的主机名称)

            

           配置完成后,重启network    命令:service network restart

     

           测试是否能够ping通过

     

        2、配置SSH

     

            1)首先,查看是否已经安装SSH

                 

                rmp -qa | grepopenssh

               rmp -qa |grep rsync

            

            2)若没有查询到结果,请按以下方式安装

     

                yum -y installopenssh

                yum -y install rsync

     

            3重新启动服务:service sshd restart 

     

            4)然后,配置Master无密码登录其它Slaves(以hadoop用户登录)

     

               1ssh-keygen –t rsa –P ''    //生成密钥对

             

               2cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

     

               3chmod 600 authorized_keys

               

               4)用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容。

                  

    RSAAuthentication yes #启用 RSA认证

                   PubkeyAuthentication yes #启用公钥私钥配对认证方式

                   AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径(和上面生成的文件同)   


            5)设置完之后记得重启SSH服务,才能使刚才设置有效。

                   servicesshd restart

            6)使用下面的命令格式进行复制公钥:    

         

                    scp ~/.ssh/id_rsa.pub hadoop@192.168.1.3:~/

                cat ~/id_rsa.pub >>~/.ssh/authorized_keys

                    chmod 600~/.ssh/authorized_keys


        7)用root用户修改"/etc/ssh/sshd_config"

     

        3、配置Java环境(其它机子雷同)

     

          1)下载适合系统版本的Java

     

          2解压到/usr/java 

     

          3 vim /etc/profile加入:

     

                    #set java environment

                   export JAVA_HOME=/usr/java/jdk1.6.0_31

                   export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

                   export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

     

         (4) 测试环境:java -version

     

    二、Hadoop的安装

     

        1、下载对应版本的Hadoop(安装到的目录/usr/hadoop)

     

        2、hadoop目录设置权限(用户组和用户都是hadoop)

        

                chown -R hadoop:hadoop  hadoop

     

        3、设置hadoop 启动环境

     

              vim /etc/profile

                  

                   #set hadoop path

                 export HADOOP_HOME=/usr/hadoop

                 export PATH=$PATH :$HADOOP_HOME/bin

           

            source/etc/profile

     

        4、配置Hadoop

     

           (1)vim  /usr/hadoop/conf/hadoop-env.sh

     

                   # set java environment

                  exportJAVA_HOME=/usr/java/jdk1.6.0_31

     

           (2)vim  /usr/hadoop/conf/core-site.xml

     

                    <property>

                          <name>fs.default.name</name>

                          <value>hdfs://192.168.1.2:9000</value>

                 </property>

     

           (3)vim  /usr/hadoop/conf/hdfs-site.xml

     

                   <property>

                       <name>dfs.replication</name>

                       <value>1</value>

                       (备注:replication是数据副本数量,默认为3salve少于3台就会报错)

                </property>

     

           (4)vim /usr/hadoop/conf/mapred-site.xml

     

                   <property>

                       <name>mapred.job.tracker</name>

                       <value>http://192.168.1.2:9001</value>

                </property>

     

           (5)vim  /usr/hadoop/conf/master

     

                   192.168.1.2(本机IP地址,是指当本机down机时,进行冷启动的备份机)

     

           (6)vim  /usr/hadoop/conf/slaves

     

                    192.168.1.3

    192.168.1.4

    192.168.1.5

     

        5、配置到其它Slaves机子

     

          1scp拷贝 

     

                  scp -r /usr/hadoop root@目标Ip:~/usr/

     

           2)改变权限

     

                  chown -R hadoop:hadoophadoop

     

           3)设置Hadoop运行环境

     

                  vim /etc/profile(见二-3

     

    三、启动Hadoop集群(使用hadoop用户)

     

        1、格式化HDFS文件系统

     

           hadoop namenode -format

     

        2、启动hadoop

     

            start-all.sh

     

            ls /usr/hadoop/logs/       查看日志

     

        3、验证hadoop

     

           1 jps

            

         2 hadoop dfsadmin -report

     

    四、其它问题

        

        1、日志Errorgetting localhost name using 'localhost'

        

           查看是否配置好 /etc/hosts要和Master的配置一样


        2、日志Errorjava.net.NoRouteToHostException:No route

     

           查看防火墙是否关闭:service iptables status

           关闭防火墙:service iptables stop

           永远关闭:chkconfig --level 0123456 iptables off

     

                

     

  • 相关阅读:
    UltraEdit语法高亮解决办法
    tcpdump命令格式及使用
    VS tricks
    git ready
    [FirefoxPlugin]Print pages to Pdf
    Searching and Navigating Code in VS 2010 (VS 2010 and .NET 4.0 Series)
    How to avoid StepInto unnecessary code area?
    Search and Navigation Tips/Tricks with Visual Studio
    squashing commits with rebase
    【原创】钻石继承与虚继承
  • 原文地址:https://www.cnblogs.com/smarthhl/p/5097067.html
Copyright © 2011-2022 走看看