zoukankan      html  css  js  c++  java
  • Hadoop集群安装指南(CHD5.9.1)(分布式+图文详解)

    centos7.1,CDH5.9.1,3台机器,终极指导安装

    下载链接如下:

    安装文件下载链接如下:

    链接:https://pan.baidu.com/s/1RQYNiWn9a-T8GXcCsoDBsA 密码:mu83

    报错解决方法在最后面

    报错解决方法在最后面

    报错解决方法在最后面

    基础配置

    首先查看IP地址

    $ ifconfig 
    

    如果没有显示的话,需要修改配置文件 ifcfg-enp5s0(名字不唯一,一般是第一个)

    $ cd /etc/sysconfig/network-scripts
    $ vim ifcfg-enp5s0
    

    $ 修改箭头处,分别是静态地址,系统启动时是否激活网卡,ip地址,网关,DNS
    

    重启服务

    $ systemctl retart network.service
    

    检测一下

    $ ping www.baidu.com
    

    修改主机名分别为master,node1,node2

    $ hostname
    

    更改yum源,Yum原本的源都在国外,更新特别浪费时间,我们改为阿里源:

    首先我们将原来的源进行备份:
    $ mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
    
    接下来我们用阿里源进行替换:
    $ wget -O/etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
    


    设置ssh

    主要有三步:①生成公钥和私钥、②导入公钥到认证文件、③更改权限
    首先添加各个节点的host
    $ vim /etc/hosts  
    
    127.0.0.1 localhost
    ::1 localhost
    
    210.44.71.51 master
    210.44.71.52 node1
    210.44.71.53 node2
    

    $ ssh-keygen -t rsa -f ~/.ssh/id_rsa
    $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    $ chmod 700 ~/.ssh && chmod 600 ~/.ssh/*
    

    设置主机->从机的无密码登录

    $ cat ~/.ssh/id_rsa.pub | ssh root@node1 'cat - >> ~/.ssh/authorized_keys'
    
    $ cat ~/.ssh/id_rsa.pub | ssh root@node2 'cat - >> ~/.ssh/authorized_keys'
    

    测试
    $ ssh node1
    $ ssh node2
    

    设置从机->主机的无密码登录
    分别在node1、node2上执行
    $ cat ~/.ssh/id_rsa.pub | ssh root@master 'cat - >> ~/.ssh/authorized_keys'
    

    测试
    $ ssh master 
    

    安装JDK

    如果有openjdk先卸载

    $ rpm -qa | grep java
    $ rpm -e --nodeps +openjdkname
    

    安装

    $ rpm -ivh jdk-8u121-linux-x64.rpm
    

    发给其他节点(主节点),然后重复上一次操作

    $ scp /root/jdk-8u121-linux-x64.rpm node1:/root/
    $ scp /root/jdk-8u121-linux-x64.rpm node2:/root/
    

    检测一下

    $ which java  
    $ java -version  
    $ which javac  
    $ javac -version  
    
    


    关闭防火墙,分别为关闭防火墙,禁止开机启动

    $ systemctl stop firewalld.service
    $ systemctl disable firewalld.service  
    

    关闭SELinux,重启生效

    $ vim /etc/selinux/config  
    $ reboot
    


    下载Cloudera相关rpm

    下载cloudera-manager.repo:

    http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo
    修改其中的版本号为要安装的版本号
    **修改所有的 https 为 http **
    **baseurl=http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.9.1/ **
    gpgkey =http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/RPM-GPG-KEY-cloudera

    下载cloudera-manager-installer.bin:
    http://archive.cloudera.com/cm5/installer/5.9.1/
    下载RPMS(目录下的所有文件):
    http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.9.1/RPMS/x86_64/
    下载CDH-Parcel文件(三个): (注意manifest.json需要自己复制下来,粘到txt重命名,下载后将.sha1文件后缀更改为.sha)

    CDH-5.9.1-1.cdh5.9.1.p0.4-el7.parcel
    CDH-5.9.1-1.cdh5.9.1.p0.4-el7.parcel.sha1
    manifest.json
    

    http://archive.cloudera.com/cdh5/parcels/5.9.1/

    在所有节点上拷贝安装文件

    cloudera-manager.repo文件拷贝到所有节点的/etc/yum.repos.d/文件夹下
    $ mkdir -p /etc/yum.repos.d/
    $ cp /root/cloudera-manager.repo /etc/yum.repos.d/
    
    传给其他节点
    $ scp /root/cloudera-manager.repo node1:/root/
    
    $ cp /root/cloudera-manager.repo /etc/yum.repos.d/   //node1
    $ cp /root/cloudera-manager.repo /etc/yum.repos.d/   //node2
    

    将下载的RPMS所有文件,拷贝到/opt/cloudera-RPMS/目录下,需要新建目录(主节点全部,从节点部分):

    $ mkdir -p /opt/cloudera-RPMS  
    

    node中不需要安装server的包,只需要安装下面两个

    cloudera-manager-agent-5.9.1-1.cm591.p0.8.el7.x86_64.rpm
    cloudera-manager-daemons-5.9.1-1.cm591.p0.8.el7.x86_64.rpm
    
    $ scp /opt/cloudera-RPMS/cloudera-manager-agent-5.9.1-1.cm591.p0.8.el7.x86_64.rpm node1:/opt/cloudera-RPMS/
    $ scp /opt/cloudera-RPMS/cloudera-manager-daemons-5.9.1-1.cm591.p0.8.el7.x86_64.rpm node1:/opt/cloudera-RPMS/
    
    $ scp /opt/cloudera-RPMS/cloudera-manager-agent-5.9.1-1.cm591.p0.8.el7.x86_64.rpm node2:/opt/cloudera-RPMS/
    $ scp /opt/cloudera-RPMS/cloudera-manager-daemons-5.9.1-1.cm591.p0.8.el7.x86_64.rpm node2:/opt/cloudera-RPMS/
    

    将下载的CDH-Parcel文件(三个)拷贝到/opt/cloudera/parcel-repo 目录下 (如果该目录不存在,手动创建,所有节点)

    传给其他节点
    //主节点
    $ mkdir -p /opt/cloudera/parcel-repo 
    //从节点
    $ mkdir -p /opt/cloudera 
    $ scp -r /opt/cloudera/parcel-repo/ node1:/opt/cloudera/
    $ scp -r /opt/cloudera/parcel-repo/ node2:/opt/cloudera/
    

    所有节点都需要执行的

    $ cd /opt/cloudera-RPMS  
    $ yum -y localinstall --nogpgcheck *.rpm  
    

    只需要在主节点(Master)上执行的

    cloudera-manager-installer.bin拷贝到/opt目录下
    给.bin文件添加可执行权限
    $ sudo chmod +x /opt/cloudera-manager-installer.bin  
    

    执行安装

    /opt/cloudera-manager-installer.bin
    

    依次出现这些页面

    进入web页面210.44.71.51:7180

    账号密码都是admin

    在搜索框里输入节点名字,搜索,英文逗号分隔

    不要选择JDK,已经安装过了

    默认即可

    设置密码

    一定保证所有节点连网 这里图片有个错误,应该包含master节点

    修改请看最后教程

    默认即可

    可能出现的错误

    Fatal error

    把数据文件删除(改名字)
    如果后来又出现错误可继续删除

    $ cd /etc/cloudera-scm-server/
    $ mv /etc/cloudera-scm-server/db.properties /etc/cloudera-scm-server/db.properties.backup
    

    更改SELinux需要重启

    $ reboot
    

    错误3


    查看日志文件后发现是获取不到镜像,DNS没配好


    错误8

    可能是因为cloudera-manager.repo没有拷贝到目标文件夹
    或者是因为启动失败,主节点中/etc/yum.repos.d目录下cloudera-manager.repo自动改名导致的,重新拷贝一份进去

    cp /root/cloudera-manager.repo /etc/yum.repos.d/
    

    配置时警告错误


    1、透明大页面问题
    临时关闭:

    echo never > /sys/kernel/mm/transparent_hugepage/defrag  
    

    修改开机设置

    vi /etc/rc.local
    
    echo never > /sys/kernel/mm/transparent_hugepage/defrag  
    

    临时修改:

    sysctl vm.swappiness=0  
    

    永久设置:

    vi /etc/sysctl.conf
    vm.swappiness = 10
    sysctl -p  
    
  • 相关阅读:
    while练习题
    流程控制之for循环
    流程控制之while循环
    流程控制之if判断
    作业
    基本运算符
    输入输出
    基本数据类型
    变量part2
    JDBC中创建表
  • 原文地址:https://www.cnblogs.com/somliy/p/10298237.html
Copyright © 2011-2022 走看看