zoukankan      html  css  js  c++  java
  • 1.5.3、CDH 搭建Hadoop在安装之前(定制安装解决方案---创建群集主机的虚拟映像)

    创建群集主机的虚拟映像

    您可以使用预先部署的Cloudera软件创建虚拟机映像,例如PXE启动映像,Amazon AMI和Azure VM映像,这些映像可用于快速启动虚拟机。这些图像使用parcel来安装CDH软件。本主题描述了创建Cloudera Manager主机和工作主机映像的过程以及如何从这些映像实例化主机。

    创建预部署的Cloudera Manager主机

    要创建Cloudera Manager虚拟机映像:
    1. 基于支持的操作系统实例化虚拟机映像(如果使用Amazon Web Services,则为AMI)并启动虚拟机。有关详细信息,请参阅虚拟化环境的文档。
    2. 安装Cloudera Manager并配置数据库。您可以配置本地或远程数据库
    3. 等待Cloudera Manager管理控制台变为活动状态。
    4. 登录Cloudera Manager管理控制台。
    5. 下载 Cloudera Manager管理的CDH或其他服务的任何包裹不要分发或激活包裹。
    6. 登录Cloudera Manager服务器主机:
      1. 运行以下命令以停止Cloudera Manager服务:
        service cloudera-scm-server stop
      2. 运行以下命令以禁用自动启动 Cloudera-scm-server 服务:
        • RHEL6.x,CentOS 6.x和SUSE:
          chkconfig cloudera-scm-server off
          
        • RHEL 7.x / CentOS 7.xx:
          systemctl disable cloudera-scm-server.service
        • Ubuntu的:
          update-rc.d -f cloudera-scm-server remove
          
    7. 创建Cloudera Manager主机的映像。有关详细信息,请参阅虚拟化环境的文档。
    8. 如果在远程主机上安装了Cloudera Manager数据库,还要创建数据库主机的映像。注意:确保在创建映像时没有客户端使用远程数据库。

    实例化Cloudera Manager映像

    要从虚拟机映像创建新的Cloudera Manager实例,请执行以下操作:
    1. 实例化Cloudera Manager映像。
    2. 如果Cloudera Manager数据库将托管在远程主机上,则还要实例化数据库主机映像。
    3. 确保  cloudera-scm-server 通过在Cloudera Manager主机上运行以下命令,服务未运行:
      service cloudera-scm-server status
      如果它正在运行,请使用以下命令将其停止:
      service cloudera-scm-server stop
    4. 在Cloudera Manager主机上,创建一个名为的文件 UUID 在里面/ etc /cloudera-scm-serve 目录。使用以下命令为此文件添加全局唯一标识符:
      cat /proc/sys/kernel/random/uuid > /etc/cloudera-scm-server/uuid
      此文件的存在通知Cloudera Manager在启动时重新初始化其自己的唯一标识符。
    5. 运行以下命令以启动Cloudera Manager服务:
      service cloudera-scm-server start
    6. 运行以下命令以启用自动重新启动 cloudera-scm-serve
      • RHEL6.x,CentOS 6.x和SUSE:
        chkconfig cloudera-scm-server on
        
      • RHEL 7.x / CentOS 7.xx:
        systemctl enable cloudera-scm-server.service
        
      • Ubuntu的:
        update-rc.d -f cloudera-scm-server defaults
     

    创建预部署的工作主机

    1. 基于支持的操作系统实例化虚拟机映像(如果使用Amazon Web Services,则为AMI)并启动虚拟机。有关详细信息,请参阅虚拟化环境的文档。
    2. 从公共包存储库或 已创建存储库下载工作者主机所需的宗地,并将其保存到临时目录。请参阅Cloudera Manager版本和下载信息
    3. 从下载包裹的同一位置下载 parcel_name .parcel.sha1 每个包裹的文件。
    4. 计算并比较下载的宗地的sha1,以确保正确下载了宗地。例如:
      sha1sum KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel | awk'{print $ 1}'> KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel.sha diff KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel.sha1 KAFKA-2.0 .2-1.2.0.2.p0.5-el6.parcel.sha
    5. 打开包裹的包装:
      1. 创建以下目录:
        • /opt/cloudera/parcels
        • /opt/cloudera/parcel-cache
      2. 设置刚刚创建的两个目录的所有权,以便它们由Cloudera Manager代理运行的用户名拥有。
      3. 使用以下命令设置每个目录的权限:
        sudo chmod 755 <directory>
        请注意,这些目录的内容将公开,并且可以安全地标记为世界可读的。
      4. 作为运行Cloudera Manager代理的同一用户运行,使用以下命令从临时目录中提取parcel的内容:
        tar -zxvf <parcel> -C / opt / cloudera / parcels /
      5. 从每个宗地的产品名称添加符号链接到 /opt/cloudera/parcels目录。
        例如,要链接 /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24 至 / opt / cloudera / parcels /CDH,使用以下命令:
        sudo ln -s /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24 /opt/cloudera/parcels/CDH
      6. 在启动时通过添加a来标记Cloudera Manager代理不会删除宗地 .dont_delete 标记文件(此文件没有内容)到每个子目录 /opt/cloudera/parcels目录。例如:
        touch /opt/cloudera/parcels/CDH/.dont_delete
    6.验证文件是否存在:
    ls -l / opt / cloudera / parcels / <parcel>
    您应该看到类似于以下内容的输出:
    ls -al / opt / cloudera / parcels / CDH
    total 100
    drwxr-xr-x  9 root root  4096 Sep 14 14:53 .
    drwxr-xr-x  9 root root  4096 Sep 14 06:34 ..
    drwxr-xr-x  2 root root  4096 Sep 12 06:39 bin
    -rw-r--r--  1 root root     0 Sep 14 14:53 .dont_delete
    drwxr-xr-x 26 root root  4096 Sep 12 05:10 etc
    drwxr-xr-x  4 root root  4096 Sep 12 05:04 include
    drwxr-xr-x  2 root root 69632 Sep 12 06:44 jars
    drwxr-xr-x 37 root root  4096 Sep 12 06:39 lib
    drwxr-xr-x  2 root root  4096 Sep 12 06:39 meta
    drwxr-xr-x  5 root root  4096 Sep 12 06:39 share
    1. 安装Cloudera Manager代理。如果您还没有这样做,请执行步骤1:为Cloudera Manager配置存储库
    2. 创建工作主机的映像。有关详细信息,请参阅虚拟化环境的文档。

    实例化工作者主机

    1. 实例化Cloudera工作者主机映像。
    2. 编辑以下文件并设置 SERVER_HOST 和 服务器端口 用于引用Cloudera Manager服务器主机的属性。
    3. 如有必要,请执行其他步骤以配置TLS / SSL。请参阅为Cloudera Manager配置TLS加密
    4. 启动代理服务:
      sudo service cloudera-scm-agent start
  • 相关阅读:
    c++ 模板<template class T>
    HTML Agility Pack 搭配 ScrapySharp,彻底解除Html解析的痛苦
    用1年的经验做了10年还是,用10年的经验做一件事.
    last_inset_id()mysql注意
    小心变成这样一个人!!!
    主动哥
    转:开个小书店。。呵呵
    mysql 更改主键信息
    磁盘预录
    评估项目
  • 原文地址:https://www.cnblogs.com/xiqing/p/9645666.html
Copyright © 2011-2022 走看看