zoukankan      html  css  js  c++  java
  • Hadoop学习笔记1:伪分布式环境搭建

                 在搭建Hadoop环境之前,请先阅读如下博文,把搭建Hadoop环境之前的准备工作做好,博文如下:

                 1、CentOS 6.7下安装JDK , 地址: http://blog.csdn.net/yulei_qq/article/details/51925673

                 2、CenOS虚拟机和Windows通信,地址:http://blog.csdn.net/yulei_qq/article/details/51930736

                  

      Hadoop 安装文件下载

                     本人使用的安装版本文件是hadoop-2.4.1.tar.gz ,下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-2.4.1/            

      Hadoop 伪分布式环境搭建

                   1、 在根目录下创建一个itcast目录

    [root@itcast01 ~]# mkdir /itcast

                   2、解压缩刚下载的hadoop文件 到 itcast目录下.

    [root@itcast01 ~]# tar -zxvf hadoop-2.4.1.tar.gz  -C /itcast

                 3、进入该itcast目录下查看解压后的hadoop文件.

                  

                  4、解压塑之后,就需要配置Hadoop的环境变量,跟配置JDK环境变量差不多。           

    root@itcast01 hadoop-2.4.1]# vim /etc/profile


    配置好之后,保存退出,执行命令source  /etc/profile ,刷新配置.

             5、Hadoop 配置文件修改.

                          要搭建Hadoop伪分布式环境,需要修改5个配置文件,配置文件都在 /itcast/hadoop-2.4.1/etc/hadoop 目录下面
                    (1)  hadoop-env.sh 文件修改                    
    [root@itcast01 hadoop]# vim hadoop-env.sh 
                                  
                    (2) core-site.xml 文件修改             
    [root@itcast01 hadoop]# vim core-site.xml
                    

    <configuration>
       <!--指定HDFS namenode的通信地址-->
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://itcast01:9000</value>
        </property>
        <!--指定Hadoop运行时产生文件的存放目录-->
         <property>
             <name>hadoop.tmp.dir</name>
             <value>/itcast/hadoop-2.4.1/tmp</value>
        </property>
    </configuration>
           (3)hdfs-site.xml  文件修改
             

    <configuration>
           <!--配置HDFS副本的数量-->
           <property>
               <name>dfs.replication</name>
               <value>1</value>
           </property>
    </configuration>
            (4) mapred-site.xml 文件修改.
                 原先文件是 mapred-site.xml.template ,所以需要重命名.        
    [root@itcast01 hadoop]# mv mapred-site.xml.template   mapred-site.xml 

                  
           (5) yarn-site.xml  文件修改
                     
    <configuration>
               <!--nodemanager获取数据的方式是shuffle-->
               <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
               </property>
               <!--指定YARN的老大(ResourceManager)的地址-->
               <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>itcast01</value>
               </property>
    </configuration>


       6、初始化HDFS (格式化文件系统)

            1、 执行该命令 hdfs  namenode  format   
                  

                  格式化之后,会在hadoop目录下生成一个tmp 目录.
                      

                7、启动Hadoop

                  进入hadoop的sbin目录下,可以看见看到有很多启动文件命令.    
    [root@itcast01 sbin]# pwd
    /itcast/hadoop-2.4.1/sbin
    [root@itcast01 sbin]# ll
    total 116
    -rwxr-xr-x. 1 67974 users 2752 Jun 21  2014 distribute-exclude.sh
    -rwxr-xr-x. 1 67974 users 5814 Jun 21  2014 hadoop-daemon.sh
    -rwxr-xr-x. 1 67974 users 1360 Jun 21  2014 hadoop-daemons.sh
    -rwxr-xr-x. 1 67974 users 1597 Jun 21  2014 hdfs-config.cmd
    -rwxr-xr-x. 1 67974 users 1427 Jun 21  2014 hdfs-config.sh
    -rwxr-xr-x. 1 67974 users 2291 Jun 21  2014 httpfs.sh
    -rwxr-xr-x. 1 67974 users 4063 Jun 21  2014 mr-jobhistory-daemon.sh
    -rwxr-xr-x. 1 67974 users 1648 Jun 21  2014 refresh-namenodes.sh
    -rwxr-xr-x. 1 67974 users 2145 Jun 21  2014 slaves.sh
    -rwxr-xr-x. 1 67974 users 1727 Jun 21  2014 start-all.cmd
    -rwxr-xr-x. 1 67974 users 1471 Jun 21  2014 start-all.sh
    -rwxr-xr-x. 1 67974 users 1128 Jun 21  2014 start-balancer.sh
    -rwxr-xr-x. 1 67974 users 1360 Jun 21  2014 start-dfs.cmd
    -rwxr-xr-x. 1 67974 users 3705 Jun 21  2014 start-dfs.sh
    -rwxr-xr-x. 1 67974 users 1357 Jun 21  2014 start-secure-dns.sh
    -rwxr-xr-x. 1 67974 users 1524 Jun 21  2014 start-yarn.cmd
    -rwxr-xr-x. 1 67974 users 1347 Jun 21  2014 start-yarn.sh
    -rwxr-xr-x. 1 67974 users 1718 Jun 21  2014 stop-all.cmd
    -rwxr-xr-x. 1 67974 users 1462 Jun 21  2014 stop-all.sh
    -rwxr-xr-x. 1 67974 users 1179 Jun 21  2014 stop-balancer.sh
    -rwxr-xr-x. 1 67974 users 1414 Jun 21  2014 stop-dfs.cmd
    -rwxr-xr-x. 1 67974 users 3206 Jun 21  2014 stop-dfs.sh
    -rwxr-xr-x. 1 67974 users 1340 Jun 21  2014 stop-secure-dns.sh
    -rwxr-xr-x. 1 67974 users 1595 Jun 21  2014 stop-yarn.cmd
    -rwxr-xr-x. 1 67974 users 1340 Jun 21  2014 stop-yarn.sh
    -rwxr-xr-x. 1 67974 users 4278 Jun 21  2014 yarn-daemon.sh
    -rwxr-xr-x. 1 67974 users 1353 Jun 21  2014 yarn-daemons.sh


    启动Hadoop.


    使用start-all.sh 启动,需要多次输入密码,非常不方便. 从上面截图可以看出,已经正常启动了. 接下来用浏览器进行验证:

           http://192.168.8.118:50070 (HDFS管理界面)
    http://192.168.8.118:8088 (MR管理界面)


      






  • 相关阅读:
    备战-Java 并发
    备战-Java 容器
    备战-Java 基础
    算法-链表
    2021-常见问题收集整理-1
    算法-双指针
    HTTP 下载文件的一些记录
    语义化版本 2.0.0
    勒索病毒典型传播途径与预防建议
    看杨院士如何解读——北斗与综合PNT体系
  • 原文地址:https://www.cnblogs.com/wuyida/p/6300306.html
Copyright © 2011-2022 走看看