zoukankan      html  css  js  c++  java
  • HaDoop 伪分布式安装

    一、基础环境配置

      虚拟机:VMware 15.0

      Linux系统版本:CentOS 6.5 (CentOS 7 的话对分布式做了优化 和7以下不同,这里以6.5为基准)

    二、准备工作

      1.在  /opt/install 下存放相关软件

         在 /opt/models 下存放上传到服务器的工具

      2.配置虚拟机的IP地址,HostName,HostMap,FireWale,Selinux,Jdk

        IP地址:ifconfig  查看

            vi /etc/sysconfig/network-scripts/ifcfg-eth0  设置永久的IP地址 ,如何配置,自行百度

        HostName:hostname 查看

             vi /etc/sysconfig/network  修改

        HostMap:vi /etc/hosts 设置IP与HostName的映射关系

        FireWale:service iptables status  查看防火墙的状态

             chkconfig iptbles off 永久关闭防火墙

        Selinux:vi /etc/selinux/config  查看与修改

            修改字段:SELINUX=disabled

        Jdk:ech0 $JAVA_HOME  测试java安装 返回jsva安装的路径

            java/javac  -Version  也可以测试java是否安装成功

    三、安装Tar包与修改配置文件

      1.解压缩Hadoop.tar

       tar -zxvf hadoop2.5.2.tar.gz -C /opt/install     # -C的意思是指定安装的路径

      2.修改配置文件(6个)

       ①hadoop-evn.sh ,修改配置文件如下:

    1 export JAVA_HOME=/usr/java/jdk1.7.0_80

        

       ②core-site.xml , 修改配置文件如下:

     1 <configuration>
     2        <property>        
     3             <name>fs.default.name</name>
     4             <value>hdfs://cmx002.ai179.com:8020</value>
     5         </property>
     6       <property>
     7             <name>hadoop.tmp.dir</name>
     8             <value>/opt/install/hadoop-2.5.2/data/tmp</value>
     9       </property>
    10 </configuration>

        

        ③hdfs-site.xml ,修改配置文件如下:

    1 <configuration>
    2 <property>        
    3          <name>dfs.replication</name>
    4          <value>1</value>
    5 </property>
    6 </configuration>

                  

         ④yarn-site.xml ,修改配置文件如下:

    1 <configuration>
    2 
    3     <property>
    4          <name>yarn.nodemanager.aux-services</name>
    5          <value>mapreduce_shuffle</value>
    6     </property>
    7 
    8 </configuration>

        

        ⑤mapred-site.xml ,该文件在原目录下名字为 “mapred-site.xml.template”,将“.tempalte”后缀名去掉即可,修改配置文件如下:

    1 <configuration>
    2     <property>                         
    3         <name>mapreduce.framework.name</name>
    4         <value>yarn</value>
    5     </property>
    6 </configuration>

        

        ⑥slaves (datanode) ,修改配置文件如下:

        

       3.格式化文件系统 hadoop_home

        bin/hdfs namenode -format

        成功的标志:出现 has  been successfuly  format  ,即表示成功

      4.启动Hadoop相关进程

    1 sbin/hadoop-daemon.sh start namenode
    2 sbin/hadoop-daemon.sh start datanode
    3 sbin/yarn-daemon.sh start resourcemanager
    4 sbin/yarn-daemon.sh start nodemanager

      5.验证

      输入jps,弹出五个进程,即表示成功

      

    四、编写启动、停止脚本程序

      在Hadoop_Home目录下,建立 hadoop-start.sh 文件,内容如下:

    1 sbin/hadoop-daemon.sh start namenode
    2 sbin/hadoop-daemon.sh start datanode
    3 sbin/yarn-daemon.sh start resourcemanager
    4 sbin/yarn-daemon.sh start nodemanager

      然后,对该文件进行权限修改:chmod  744 hadoop-start.sh ,将其变为可执行文件

       最后,拷贝此文件为hadoop-stop.sh,将文件中的start  全部变成 stop 即可。

      

  • 相关阅读:
    常见压缩/解压缩及打包命令
    黑盒测试和白盒测试
    基础命令的操作

    转]DLL-多个进程间共享动态链接库的原理
    Ansi UNICODE,GBK,UTF-8区别
    Cppunit 源码 SynchronizedObject
    二分查找实现
    Androdi 开发学习四 Activity和Intent
    Android开发学习三:adb启动失败
  • 原文地址:https://www.cnblogs.com/cmxbky1314/p/12096177.html
Copyright © 2011-2022 走看看