zoukankan      html  css  js  c++  java
  • Java+大数据开发——Hadoop集群环境搭建(一)

    1集群简介

    HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起

    HDFS集群:

    负责海量数据的存储,集群中的角色主要有 NameNode / DataNode

    YARN集群:

    负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager

    本集群搭建案例,以3节点为例进行搭建,角色分配如下:

    hdp-node-01    NameNode  SecondaryNameNode ResourceManager
    hdp-node-02    DataNode    NodeManager
    hdp-node-03    DataNode    NodeManager

     

    2服务器准备

    本案例使用虚拟机服务器来搭建HADOOP集群,所用软件及版本:

    ▨ Vmware 12.0

    ▨ Centos  7.0  64bit

     

    3网络环境准备

    ▨ 采用NAT方式联网

    ▨ 网关地址:192.168.33.1

    ▨ 3个服务器节点IP地址:192.168.33.101192.168.33.102192.168.33.103

    ▨ 子网掩码:255.255.255.0

     

    4服务器系统设置

    ▨ 添加HADOOP用户

    ▨ HADOOP用户分配sudoer权限

    ▨ 同步时间

    ▨ 设置主机名

        ◈ hdp-node-01

        ◈ hdp-node-02

        ◈ hdp-node-03

    ▨ 配置内网域名映射:

        ◈ 192.168.33.101          hdp-node-01

        ◈ 192.168.33.102          hdp-node-02

        ◈ 192.168.33.103          hdp-node-03

    ▨ 配置ssh免密登陆

    ▨ 配置防火墙

     

    5JDK环境安装

    ▨ 上传jdk安装包

    ▨ 规划安装目录  /home/hadoop/apps/jdk_1.7.65

    ▨ 解压安装包

    ▨ 配置环境变量 /etc/profile

     

    6HADOOP安装部署

    ▨ 上传HADOOP安装包

    ▨ 规划安装目录  /home/hadoop/apps/hadoop-2.6.5

    ▨ 解压安装包 tar –zxvf  hadoop-2.6.5 –C apps/

    ▨ 修改配置文件  $HADOOP_HOME/etc/hadoop/

    最简化配置如下:

    vi  hadoop-env.sh

    # The java implementation to use.
    export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_45

    vi  core-site.xml

    <configuration>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hdp-node-01:9000</value>
    </property>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/HADOOP/apps/hadoop-2.6.5/tmp</value>
    </property>
    </configuration>

    vi  hdfs-site.xml

    <configuration>
    <property>
    <name>dfs.replication</name>
    <value>1</value>
    </property>
    <property>
    <name>dfs.secondary.http.address</name>
    <value>hdp-node-01:50090</value>
    </property>
    </configuration>

    vi  mapred-site.xml

    <configuration>
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
    </configuration>

    vi  yarn-site.xml

    <configuration>
    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop01</value>
    </property>
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    </configuration>

    vi  salves

    hdp-node-02
    hdp-node-03

    7启动集群

    初始化HDFS

    bin/hadoop  namenode  -format

    启动HDFS

    sbin/start-dfs.sh

    启动YARN

    sbin/start-yarn.sh

    查看集群状态

    jps
    bin/hdfs dfsadmin -report

    8测试——运行一个mapreduce程序

    HADOOP安装目录下,运行一个示例mr程序

    cd $HADOOP_HOME/share/hadoop/mapreduce/
    hadoop jar mapredcue-example-2.6.5.jar wordcount /wordcount/input  /wordcount/output

    9HDFS使用

    1、查看集群状态

    命令:   hdfs  dfsadmin  –report 

     

    可以看出,集群共有3datanode可用

    也可打开web控制台查看HDFS集群信息,在浏览器打开http://hdp-node-01:50070/

     

    2、上传文件到HDFS

      ▣  查看HDFS中的目录信息

          命令   hadoop  fs  –ls  /

     

       ▣    上传文件

          命令:   hadoop  fs  -put  ./ scala-2.10.6.tgz  to  /

    作者:杰瑞教育
    出处:http://www.cnblogs.com/jerehedu/ 
    版权声明:本文版权归杰瑞教育技有限公司和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
    技术咨询:JRedu技术交流
  • 相关阅读:
    前端水印
    canvas中图片大小自适应
    了解CSS变量var
    vue报错Adjacent JSX elements must be wrapped in an enclosing tag.
    修改Batch3DModelContent的片元着色器:让白模穿品如的衣服
    Cesium 顶点着色器中求解模型坐标
    Centos6.5部署及yum源注意事项
    linux常用命令
    复旦大学数学学院 18 级本科生对高等代数学习方法指导书的评价
    复旦大学数学学院 17 级本科生对高等代数学习方法指导书的评价
  • 原文地址:https://www.cnblogs.com/jerehedu/p/7404667.html
Copyright © 2011-2022 走看看