zoukankan      html  css  js  c++  java
  • 【大数据】分布式集群部署

    1、集群规划部署

    节点名称 NN1 NN2 DN  RM NM
    hadoop01 NameNode   DataNode   NodeManager
    hadoop02   SecondaryNameNode DataNode ResourceManager NodeManager
    hadoop03     DataNode   NodeManager

     2、参考单机部署,拷贝安装目录至相同目录,使用ln -s 建立软连接

     

    3、修改配置文件参数及sh启动文件--根据集群规划部署配置

     

    slaves:记录了机器名

    *.sh:修改JAVA_HOME

    yarn-site.xml 

    <configuration>
    
    <!-- Site specific YARN configuration properties -->
              <!-- NodeManager获取数据的方式是shuffle-->
            <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
            </property>
              <!-- 指定YARN的老大(resourcemanager)的地址 -->
            <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>hadoop02</value>
            </property>
    </configuration>

    hdfs-site.xml 

    <configuration>
            <!-- 指定HDFS保存数据副本数量 --> 
            <property>
                    <name>dfs.replication</name>
                    <value>3</value>
            </property>
        <property>
            <name>dfs.permissions</name>
            <value>false</value>
            <description>
                If "true", enable permission checking in HDFS.
                If "false", permission checking is turned off,
                but all other behavior is unchanged.
                Switching from one parameter value to the other does not change the mode,
                owner or group of files or directories.
            </description>
        </property>
        <!-- 设置secondname的端口   -->
        <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>hadoop02:50090</value>
        </property>
    </configuration>

    mapred-site.xml 

    <configuration>
              <!-- 告诉hadoop以后MR运行在yarn上 -->
            <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
            </property>
    </configuration>

    core-site.xml

    <configuration>
            <!-- 用来指定hdfs的老大(NameNode)的地址 -->
            <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://hadoop01:9000</value>
            </property>
              <!-- 用来指定Hadoop运行时产生文件的存放目录 -->
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/hadoop/tmp</value>
            </property>
    </configuration>

    4、由于是在单机基础上升级扩展,需要删除hadoop.tmp.dir目录文件,并用root授权 chmod 777 -R /hadoop

    5、重新格式化:hdfs namenode -foamate

    6、配置拷贝:scp -r /home/hadoop/Soft/hadoop-2.7.6/etc/hadoop hadoop@hadoop03:/home/hadoop/Soft/hadoop-2.7.6/etc/

    7、Hadoop01:start-dfs.sh

    8、Hadoop02:start-yarn.sh

    10、使用jps查看进程

    参考:

    https://blog.csdn.net/frank409167848/article/details/80968531

    https://www.cnblogs.com/frankdeng/p/9047698.html

  • 相关阅读:
    【HANA系列】SAP HANA跟我学HANA系列之创建计算视图一
    【HANA系列】SAP HANA计算视图中的RANK使用方法
    【ABAP系列】SAP ABAP7.40新语法简介第一篇
    【ABAP系列】SAP ABAP7.40新语法简介第二篇
    【MM系列】SAP 根据PO查找对应的打印FORM
    【ABAP系列】SAP BOM反查
    【FICO系列】SAP FICO折旧记账时出现错误:没有找到与所做选择一致的数据
    【PI系列】SAP IDOC发送状态03,PI没有收到消息的解决办法
    Struts2_属性驱动
    struts2_struts.xml配置文件讲解
  • 原文地址:https://www.cnblogs.com/defineconst/p/10982576.html
Copyright © 2011-2022 走看看