zoukankan      html  css  js  c++  java
  • hadoop分布式搭建

      学习笔记之分布式hadoop,分布式的hadoop是大数据的基础。所有的组件的搭建都建立在分布式hadoop上。后期的高可用和动态的删除节点和增加节点都需要使用到。

      如果分布式的hadoop搭建成功,则会开启以下服务

    master  namenode  datanode    nodemanager  jps

    slave1           datanode    nodemanager  jps  secondarynamenode

    slave2           datanode    nodemanager  jps  resourcemanager

    上传解压

    tar -zxf hadoop-2.6.0.tar.gz -C /usr/local/src/
    
    mv hadoop-2.6.0.tar.gz hadoop

    修改环境变量

    vi /etc/profile 
    export HADOOP_HOME=/usr/local/src/hadoop
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    source /etc/profile

    修改配置文件

    cd /usr/local/src/hadoop/etc/hadoop

    修改6个文件:hadoop-env.sh;core-env.xml;hdfs-env.xml;mapreduce-site.xml;yarn-site.xml;slaves

    其中mapreduce-site.xml 并不存在,但是有mapreduce-site.xml.template,所以要重命名。

    1)hadoop-env.sh

    修改export JAVA_HOME=${JAVA_HOME}为
    
    export JAVA_HOME=/usr/loca/src/jdk

    2)core-site.xml

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/zhy/hadoop/hdfs/tmp</value>
    </property>

    3)hdfs-site.xml

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/src/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/src/hadoop/hdfs/data</value>
    </property>
    <property>
        <name>dfs.repliation</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.secondary.http.address</name>
        <value>slave1:50090</value>
    </property>

    4)mapreduce-site.xml

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    5)yarn-site.xml

    <property>
        <name>yarn.resourcemanager.host</name>
        <value>slave3</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>slave3:8032</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    6)slaves

    master
    slave1
    slave2

    初始化

    hadoop namenode -format 或者 hdfs namenode -format

    启动

    start-dfs.sh
    start-yarn.sh                  #在yarn上启动

    验证

    输入jps查看hadoop启动的服务

  • 相关阅读:
    Python单例模式中的4种方式
    Python list,tuple,dict,set高级变量常用方法
    python如何获取多个excel单元格的值
    两种方法实现python操作日志的封装
    numpy中函数shape的用法
    python中timer定时器常用的两种实现方法
    详解Python中argpasrse模块的基本使用
    在python中列表删除和多重循环退出
    Python的驻留机制(仅对数字,字母,下划线有效)
    python实现tail -f 功能
  • 原文地址:https://www.cnblogs.com/txxj/p/11918040.html
Copyright © 2011-2022 走看看