zoukankan      html  css  js  c++  java
  • Hadoop学习笔记1:伪分布式环境搭建

                 在搭建Hadoop环境之前,请先阅读如下博文,把搭建Hadoop环境之前的准备工作做好,博文如下:

                 1、CentOS 6.7下安装JDK , 地址: http://blog.csdn.net/yulei_qq/article/details/51925673

                 2、CenOS虚拟机和Windows通信,地址:http://blog.csdn.net/yulei_qq/article/details/51930736

                  

      Hadoop 安装文件下载

                     本人使用的安装版本文件是hadoop-2.4.1.tar.gz ,下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-2.4.1/            

      Hadoop 伪分布式环境搭建

                   1、 在根目录下创建一个itcast目录

    [root@itcast01 ~]# mkdir /itcast

                   2、解压缩刚下载的hadoop文件 到 itcast目录下.

    [root@itcast01 ~]# tar -zxvf hadoop-2.4.1.tar.gz  -C /itcast

                 3、进入该itcast目录下查看解压后的hadoop文件.

                  

                  4、解压塑之后,就需要配置Hadoop的环境变量,跟配置JDK环境变量差不多。           

    root@itcast01 hadoop-2.4.1]# vim /etc/profile


    配置好之后,保存退出,执行命令source  /etc/profile ,刷新配置.

             5、Hadoop 配置文件修改.

                          要搭建Hadoop伪分布式环境,需要修改5个配置文件,配置文件都在 /itcast/hadoop-2.4.1/etc/hadoop 目录下面
                    (1)  hadoop-env.sh 文件修改                    
    [root@itcast01 hadoop]# vim hadoop-env.sh 
                                  
                    (2) core-site.xml 文件修改             
    [root@itcast01 hadoop]# vim core-site.xml
                    

    <configuration>
       <!--指定HDFS namenode的通信地址-->
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://itcast01:9000</value>
        </property>
        <!--指定Hadoop运行时产生文件的存放目录-->
         <property>
             <name>hadoop.tmp.dir</name>
             <value>/itcast/hadoop-2.4.1/tmp</value>
        </property>
    </configuration>
           (3)hdfs-site.xml  文件修改
             

    <configuration>
           <!--配置HDFS副本的数量-->
           <property>
               <name>dfs.replication</name>
               <value>1</value>
           </property>
    </configuration>
            (4) mapred-site.xml 文件修改.
                 原先文件是 mapred-site.xml.template ,所以需要重命名.        
    [root@itcast01 hadoop]# mv mapred-site.xml.template   mapred-site.xml 

                  
           (5) yarn-site.xml  文件修改
                     
    <configuration>
               <!--nodemanager获取数据的方式是shuffle-->
               <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
               </property>
               <!--指定YARN的老大(ResourceManager)的地址-->
               <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>itcast01</value>
               </property>
    </configuration>


       6、初始化HDFS (格式化文件系统)

            1、 执行该命令 hdfs  namenode  format   
                  

                  格式化之后,会在hadoop目录下生成一个tmp 目录.
                      

                7、启动Hadoop

                  进入hadoop的sbin目录下,可以看见看到有很多启动文件命令.    
    [root@itcast01 sbin]# pwd
    /itcast/hadoop-2.4.1/sbin
    [root@itcast01 sbin]# ll
    total 116
    -rwxr-xr-x. 1 67974 users 2752 Jun 21  2014 distribute-exclude.sh
    -rwxr-xr-x. 1 67974 users 5814 Jun 21  2014 hadoop-daemon.sh
    -rwxr-xr-x. 1 67974 users 1360 Jun 21  2014 hadoop-daemons.sh
    -rwxr-xr-x. 1 67974 users 1597 Jun 21  2014 hdfs-config.cmd
    -rwxr-xr-x. 1 67974 users 1427 Jun 21  2014 hdfs-config.sh
    -rwxr-xr-x. 1 67974 users 2291 Jun 21  2014 httpfs.sh
    -rwxr-xr-x. 1 67974 users 4063 Jun 21  2014 mr-jobhistory-daemon.sh
    -rwxr-xr-x. 1 67974 users 1648 Jun 21  2014 refresh-namenodes.sh
    -rwxr-xr-x. 1 67974 users 2145 Jun 21  2014 slaves.sh
    -rwxr-xr-x. 1 67974 users 1727 Jun 21  2014 start-all.cmd
    -rwxr-xr-x. 1 67974 users 1471 Jun 21  2014 start-all.sh
    -rwxr-xr-x. 1 67974 users 1128 Jun 21  2014 start-balancer.sh
    -rwxr-xr-x. 1 67974 users 1360 Jun 21  2014 start-dfs.cmd
    -rwxr-xr-x. 1 67974 users 3705 Jun 21  2014 start-dfs.sh
    -rwxr-xr-x. 1 67974 users 1357 Jun 21  2014 start-secure-dns.sh
    -rwxr-xr-x. 1 67974 users 1524 Jun 21  2014 start-yarn.cmd
    -rwxr-xr-x. 1 67974 users 1347 Jun 21  2014 start-yarn.sh
    -rwxr-xr-x. 1 67974 users 1718 Jun 21  2014 stop-all.cmd
    -rwxr-xr-x. 1 67974 users 1462 Jun 21  2014 stop-all.sh
    -rwxr-xr-x. 1 67974 users 1179 Jun 21  2014 stop-balancer.sh
    -rwxr-xr-x. 1 67974 users 1414 Jun 21  2014 stop-dfs.cmd
    -rwxr-xr-x. 1 67974 users 3206 Jun 21  2014 stop-dfs.sh
    -rwxr-xr-x. 1 67974 users 1340 Jun 21  2014 stop-secure-dns.sh
    -rwxr-xr-x. 1 67974 users 1595 Jun 21  2014 stop-yarn.cmd
    -rwxr-xr-x. 1 67974 users 1340 Jun 21  2014 stop-yarn.sh
    -rwxr-xr-x. 1 67974 users 4278 Jun 21  2014 yarn-daemon.sh
    -rwxr-xr-x. 1 67974 users 1353 Jun 21  2014 yarn-daemons.sh


    启动Hadoop.


    使用start-all.sh 启动,需要多次输入密码,非常不方便. 从上面截图可以看出,已经正常启动了. 接下来用浏览器进行验证:

           http://192.168.8.118:50070 (HDFS管理界面)
    http://192.168.8.118:8088 (MR管理界面)


      






  • 相关阅读:
    Hdu 1257 最少拦截系统
    Hdu 1404 Digital Deletions
    Hdu 1079 Calendar Game
    Hdu 1158 Employment Planning(DP)
    Hdu 1116 Play on Words
    Hdu 1258 Sum It Up
    Hdu 1175 连连看(DFS)
    Hdu 3635 Dragon Balls (并查集)
    Hdu 1829 A Bug's Life
    Hdu 1181 变形课
  • 原文地址:https://www.cnblogs.com/wuyida/p/6300306.html
Copyright © 2011-2022 走看看