zoukankan      html  css  js  c++  java
  • hadoop2.7.2集群搭建

    hadoop2.7.2集群搭建

    1.修改hadoop中的配置文件

    进入/usr/local/src/hadoop-2.7.2/etc/hadoop目录,修改hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml ,yarn-site.xml,slaves等文件

    1.1 core-site.xml文件

    <configuration>
      <!--指定hadoop运行时产生文件的存储目录-->
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
      </property>
      <!--配置HDFS中NameNode的地址-->
      <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/src/hadoop-2.7.2/tmp</value>
      </property>
    </configuration>
    

    1.2 hadoop-env.sh文件

    export JAVA_HOME=/usr/local/src/jdk1.7.0_79

    1.3 hdfs-site.xml文件

    <configuration>
        <!-- 设置hdfs副本数量 -->
        <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>
        <!-- 设置secondarynamenode的http通讯地址 -->
        <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>slave2:50090</value>
        </property>
        <!-- 设置namenode的http通讯地址 -->
        <property>
            <name>dfs.namenode.http-address</name>
            <value>master:50070</value>
        </property>
        <!-- 设置namenode存放的路径 -->
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>/usr/local/src/hadoop-2.7.2/name</value>
        </property>
        <!-- 设置datanode存放的路径 -->
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>/usr/local/src/hadoop-2.7.2/data</value>
        </property>
    </configuration>
    

    1.4 mapred-site.xml文件

    <configuration>
        <!-- 通知框架MR使用YARN -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>
    

    1.5 mapred-env.sh文件

    export JAVA_HOME=/usr/local/src/jdk1.7.0_79

    1.6 yarn-site.xml文件

    <configuration>
        <!-- 设置 resourcemanager 在哪个节点-->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>slave1</value>
        </property>
        <!-- reducer取数据的方式是mapreduce_shuffle -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>
    

    1.7 yarn-env.sh文件

    export JAVA_HOME=/usr/local/src/jdk1.7.0_79

    1.8 slaves文件

    将集群中的服务器节点的hostname写入该文件中

    • master
    • slave1
    • slave2
  • 相关阅读:
    Java 使用 EasyExcel 实现简单的读写操作
    Java上传文件到阿里云对象存储器OSS
    Springboot 项目解决跨域的问题
    Java 使用 Kafka 发布信息与消费消息
    安装PHPldapAdmin出现You don't have permission to access /phpldapadmin/ on this server.问题
    LDAP安装、LDAP数据迁移、LDAP卸载指南及PHPldapAdmin管理软件安装
    LDAP数据备份与数据恢复
    docker 启动所有镜像
    详解GET 和 POST请求的本质区别
    如何使用 markdown
  • 原文地址:https://www.cnblogs.com/screen/p/8999085.html
Copyright © 2011-2022 走看看