zoukankan      html  css  js  c++  java
  • redhat7和redhat6混合搭建文档


    1.下载cm对应redhat7的版本。
    2.修改/opt/cloudera/cm-5.10.0/etc/cloudera-scm-agent/config.ini成为中心机器hostname/ip(master)
    4.启动/opt/cloudera/cm-5.10.0/etc/init.d/cloudera-scm-agent(cloudera-scm-agent start(启动)/cloudera-scm-agent status(状态)).可以观察目录是否启动正常。
    5.修改中心机器目录/opt/cloudera/parcels 和 /opt/cloudera/parcel-repo都修改为支持redhat7的版本以提供分发给新加入主机机器,必须把sha1修正为sha然后等待它自动生成 XX.torrent的文件(此时cloudera-scm-server的log很可能会报错,不过不用理会暂时没发现问题)
    6.在CM界面添加新主机得到中心机器分发的CDH安装包。安装完成后/opt/cloudera/parcels目录可以看到CDH的目录就是分发安装完成了,
    完成后记得把parcel和parcel-repo修改为6的版本(不然cloudera-scm-server服务会出错,重启也很可能会出错。毕竟中心机器是6版本,读取了7的版本会同步出错,执行hadoop version都会变成无效,修改为6版本后正常)
    7.开始分配datanode,加入集群。出现报如错误:JAVA_HOME is not set and could not be found
    解决 安装1.6以上JDK包。记得不能放在用户home下。后面其他用户很可能发现权限问题。我放在/opt 解压得到jdk1.8.0_161java目录。把到/usr下建立java目录建立软连接
    ln -s yourdir default链接到java目录得到(default -> /opt/jdk1.8.0_161)。
    8.vi /etc/default/bigtop-utils 写入export JAVA_HOME=/usr/java/default
    9.source /etc/default/bigtop-utils
    到此datanode加入启动成功。
    10.发现配置文件未写入(会产生错误:fs.defaultFS is not set when running “mkdir” command.)
    11.在cloudera manager里面的界面点击操作---》部署客户端配置
    12.报错仅完成 0/1 个步骤。首个失败:在服务 HDFS 上执行命令 Deploy Client Configuration 失败
    13.到/opt/cloudera/cm-5.10.0/run/cloudera-scm-agent/process/ccdeploy_hadoop-conf_etchadoopconf.cloudera.hdfs_-8565027461001265838/logs查看具体日志log,发现是line 115: perl: command not found插件未安装
    14.安装gcc包和包依赖(rpm -ivh *.rpm --nodeps --force)  gcc version 4.8.5 20150623 (Red Hat 4.8.5-11) (GCC) ,GCC依赖的包会比较多最好找统一的一份下载。或者通过yum(内网只能自己用rpm了)
    15.安装插件perl

    mkdir /usr/local/perl(建立系统使用目录给perl)
    ./Configure --help
    到解压的perl目录下执行
    ./Configure -des -Dprefix=/usr/local/perl -Dusethreads -Uversiononly
    make
    make install

    16.此处发现 [pp_sys.o] Error 1一类错误也就是perl没安装成功,调整了好几个版本用回,最后用perl-5.10.1.tar.gz
    安装了 rpm -ivh kernel-headers-3.10.0-957.el7.x86_64.rpm
    到此处perl安装成功。
    17.重新部署客户端配置成功。集群同步hdfs状态配置文件成功。机器成功加入
    自此redhat6和redhat7混合搭建完成。
    存在不足:1.替换了parcels和parcel-repo 会引发中心机器cloudera-scm-agent混乱,报错。虽然安装完成恢复成6包可以恢复成原来样子但是报错不知道会不会引发其他问题
    2.linux6和linux7后期维护包存在麻烦因为又6和7两套
    3.后期如果要打parcels升级版本会存在严重问题。因为6和7不能采用同一套。这个暂时还没查询怎么解决。或者只能分配到系统同样的一批机器

    为了集群稳定和可维护性,最好还是选用统一的版本进行安装,减少后期麻烦

     一些错误信息的解决(不一定准确,但是我安装过程是起作用的)

    报错信息:MainThread agent ERROR Heartbeating to localhost:7182 failed.
    解决:配置CM Agent
    cm的安装包的server和agent都是同一个包,启动的时候启动命令指定为server还是agent;cm有一个工作目录,需要
    我们来创建;创建一个用户;修改agent的配置,给它指定server的位置;那个端口7182是server和agent通信的端口;
    server_host配置为server的名字;
    修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中 server_host(三台机器)


    报错信息:ERROR Heartbeating to master:7182 failed。
    错误解释:向master节点的指定端口7180发送心跳检测失败。
    首次启动Agent,它会生成一个uuid,路径为:/opt/cm-5.1.3/lib/cloudera-scm-agent/uuid,如果每台机器上的Agent的uuid都是一样,就会出现报错情况。
    报错解决:
    进入目录:cd /opt/cm-5.15.1/lib/cloudera-scm-agent/
    删除uuid:rm -rf uuid
    重启agent:/opt/cm-5.15.1/etc/init.d/cloudera-scm-agent restart


    报错信息:loudemanager安装时出现8475 MainThread agent ERROR Heartbeating to 192.168.30.1:7182 failed问题解决方法
    # ps aux | grep super
    root 18949 0.0 0.1 223624 12996 ? Ss 11:16 0:00 /opt/cm-5.7.0/lib64/cmf/agent/build/env/bin/python /opt/cm-5.7.0/lib64/cmf/agent/build/env/bin/supervisord
    root 23390 0.0 0.0 112656 972 pts/0 S+ 11:37 0:00 grep --color=auto super
    #kill 18949
    sudo service cloudera-scm-agent stop

    Unable to retrieve remote parcel repository manifest
    不影响使用

    报错信息:KeyError: 'getpwnam(): name not found: cloudera-scm'
    groupadd cloudera-scm
    useradd cloudera-scm -g cloudera-scm
    chown cloudera-scm:cloudera-scm /var/log/cloudera-scm(缺少用户信息)

  • 相关阅读:
    luogu1117 优秀的拆分 (后缀数组)
    hdu5238 calculator (线段树+crt)
    [模板]中国剩余定理/扩展中国剩余定理
    [模板]欧几里得算法/扩展欧几里得
    cf1088E Ehab and a component choosing problem (树形dp)
    cf1088D Ehab and another another xor problem (构造)
    cf1088C Ehab and a 2-operation task (构造)
    luogu3292 幸运数字 (点分治+线性基)
    2017-03-10<Git版本回退>
    2017-03-09<AS目录结构>
  • 原文地址:https://www.cnblogs.com/yaohaitao/p/11683861.html
Copyright © 2011-2022 走看看