zoukankan      html  css  js  c++  java
  • 「hadoop」centos7.2 上进行cdh5.7.2离线安装

    已实机验证ok

    环境
    在win7 64位上通过vmware虚拟机安装三台centos7.2,内存分配分别为6G,1G,1G

    其它必要软件:
    CM:http://archive.cloudera.com/cm5/cm/5
    parcel:http://archive.cloudera.com/cdh5/parcels/

    注意事项:
    1、root用户
    2、parcel与cm版本一致
    3、使用java默认路径(rpm包)

    【配置centos minimal】

    1、打开网络
    默认网络处于关闭,nmtui命令进入配置页面

    2、安装net-tools,支持ifconfig命令

    3、设置主机名
    /etc/hosts
    10.0.203.71  cdj1

    /etc/sysconfig/network(network这一步没加上貌似也没问题)
    NETWORKING=yes
    HOSTNAME=cdj1

    4、增加主机名映射,位于/etc/hosts

    【更新yum源】
    #yum update

    【安装python】
    默认已安装

    【安装其他库】
    yum -y install gcc gcc-c++ make automake autoconf libtool perl

    【关闭SELINUX】
    # vi /etc/sysconfig/selinux
    SELINUX=disabled
    重启才能生效
    重启后检查
    [root@hadoop1~]#sestatus -v
    SELinux status: disabled
    表示已经关闭了

    【安装编译环境】
    这一步用于能够顺利安装vmware-tools
    1、需要update
    2、安装kernel-headers kernel-devel gcc
    3、重启
    参考如下命令:
    #yum -y update
    #yum -y install kernel-headers kernel-devel gcc
    #reboot

    【安装vmware-tools,文件共享】
    用于win与centos文件共享,注意事项:
    1、需要手动挂载/dev/cdrom才能访问cdrom

    【安装java】
    建议安装rpm格式,因为最好用默认路径
    JAVA_HOME路径设置位于/etc/profile
    #source /etc/profile让设置立即生效

    【安装pstree】
    #yum install psmisc

    【免密码ssh】
    在A生成公钥 #ssh-keygen -t rsa
    添加到B中 #ssh-copy-id root@B // root为主机B的用户名

    【关闭防火墙】
    查看防火墙是否开启:#firewall-cmd --state
    关闭防火墙:#systemctl stop firewalld.service
    禁止防火墙开机启动:#systemctl disable firewalld.service

    【安装mysql数据库】(主节点)

    【parcel文件拷贝】(主节点)
    1、拷贝parcel等三个文件到/opt/cloudera/parcel-repo/,手动创建目录
    2、xxx.sha1改名为xxx.sha

    【CM安装】
    解压cm包到/opt目录下
    mysql驱动jar包拷贝到 /usr/share/java/mysql-connector-java.jar

    /opt/cm-5.7.2/share/cmf/lib,并改名为mysql-connector-java.jar
    修改成主节点名称 /opt/cm-5.7.2/etc/cloudera-scm-agent/config.ini, 设置server_host=<namenode名称>
    修改java路径,注意版本对应上,比如jdk8对应JAVA8_HOME_CANDIDATES
    /opt/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh
    /opt/cm-5.7.2/share/cmf/bin/cmf-server

    【创建cloudera-scm用户】
    #useradd --system --home=/opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

    【初始化CM数据库,仅主节点】
    #/opt/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh mysql cm -h10.0.203.10 -P3306 -uchendajian -p123456 --scm-host localhost root 123456
    说明:这个脚本就是用来创建和配置CMS需要的数据库的脚本。各参数是指:
    mysql:数据库用的是mysql,如果安装过程中用的oracle,那么该参数就应该改为oracle。
    -10.0.203.10:数据库主机。
    -uroot:root身份运行mysql。-p123456:mysql的root密码是123456。
    --scm-host localhost:CMS的主机,一般是和mysql安装的主机是在同一个主机上。
    最后三个参数是:数据库名,数据库用户名,数据库密码。
    数据库连接配置文件位于 /etc/cloudera-scm-server/db.properties

    【创建预设数据库】
    mysql中依次创建hive, activity,oozie,hue等数据库,参考代码:create database activity DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

    【启动Cloudera Manager】
    agent需要等待server完全启动后才能启动
    主节点
    #/opt/cm-5.7.2/etc/init.d/cloudera-scm-server start
    #/opt/cm-5.7.2/etc/init.d/cloudera-scm-agent start

    从节点
    #/opt/cm-5.7.2/etc/init.d/cloudera-scm-agent start
    当cloudera-scm-server、cloudera-scm-agent start启动成功之后,可通过http://主节点IP:7180来访问CM,用户名密码都为admin。剩下的就是一直点下一步和根据具体的需求来配置集群了。


    【配置】
    服务启动几分钟后,浏览器打开配置网页 http://<namenode>:7180
    用户名密码都为admin

    【其它说明】
    部分步骤参考:http://blog.csdn.net/shawnhu007/article/details/52579204

    安装失败,需要清理再重装
    1、rm -rf /opt/cm-5.7.2/lib/cloudera-scm-agent/*;
    2、删除并重装cm数据库;

    安装过程中在安装HDFS /tmp目录中被超时中止
    返回再安装即可,有可能是安装时间过长引起

  • 相关阅读:
    HDU 1863 畅通工程(Kruskal)
    HDU 1879 继续畅通工程(Kruskra)
    HDU 1102 Constructing Roads(Kruskal)
    POJ 3150 Cellular Automaton(矩阵快速幂)
    POJ 3070 Fibonacci(矩阵快速幂)
    ZOJ 1648 Circuit Board(计算几何)
    ZOJ 3498 Javabeans
    ZOJ 3490 String Successor(模拟)
    Java实现 LeetCode 749 隔离病毒(DFS嵌套)
    Java实现 LeetCode 749 隔离病毒(DFS嵌套)
  • 原文地址:https://www.cnblogs.com/ftrako/p/7791897.html
Copyright © 2011-2022 走看看