创建群集主机的虚拟映像
您可以使用预先部署的Cloudera软件创建虚拟机映像,例如PXE启动映像,Amazon AMI和Azure VM映像,这些映像可用于快速启动虚拟机。这些图像使用parcel来安装CDH软件。本主题描述了创建Cloudera Manager主机和工作主机映像的过程以及如何从这些映像实例化主机。
创建预部署的Cloudera Manager主机
要创建Cloudera Manager虚拟机映像:
- 基于支持的操作系统实例化虚拟机映像(如果使用Amazon Web Services,则为AMI)并启动虚拟机。有关详细信息,请参阅虚拟化环境的文档。
- 安装Cloudera Manager并配置数据库。您可以配置本地或远程数据库。
- 等待Cloudera Manager管理控制台变为活动状态。
- 登录Cloudera Manager管理控制台。
- 下载 Cloudera Manager管理的CDH或其他服务的任何包裹。不要分发或激活包裹。
- 登录Cloudera Manager服务器主机:
- 运行以下命令以停止Cloudera Manager服务:
service cloudera-scm-server stop
- 运行以下命令以禁用自动启动 Cloudera-scm-server 服务:
- RHEL6.x,CentOS 6.x和SUSE:
chkconfig cloudera-scm-server off
- RHEL 7.x / CentOS 7.xx:
systemctl disable cloudera-scm-server.service
- Ubuntu的:
update-rc.d -f cloudera-scm-server remove
- RHEL6.x,CentOS 6.x和SUSE:
- 运行以下命令以停止Cloudera Manager服务:
- 创建Cloudera Manager主机的映像。有关详细信息,请参阅虚拟化环境的文档。
- 如果在远程主机上安装了Cloudera Manager数据库,还要创建数据库主机的映像。注意:确保在创建映像时没有客户端使用远程数据库。
实例化Cloudera Manager映像
要从虚拟机映像创建新的Cloudera Manager实例,请执行以下操作:
- 实例化Cloudera Manager映像。
- 如果Cloudera Manager数据库将托管在远程主机上,则还要实例化数据库主机映像。
- 确保 cloudera-scm-server 通过在Cloudera Manager主机上运行以下命令,服务未运行:
service cloudera-scm-server status
如果它正在运行,请使用以下命令将其停止:service cloudera-scm-server stop - 在Cloudera Manager主机上,创建一个名为的文件 UUID 在里面/ etc /cloudera-scm-serve 目录。使用以下命令为此文件添加全局唯一标识符:
cat /proc/sys/kernel/random/uuid > /etc/cloudera-scm-server/uuid此文件的存在通知Cloudera Manager在启动时重新初始化其自己的唯一标识符。
- 运行以下命令以启动Cloudera Manager服务:
service cloudera-scm-server start
- 运行以下命令以启用自动重新启动 cloudera-scm-serve :
- RHEL6.x,CentOS 6.x和SUSE:
chkconfig cloudera-scm-server on
- RHEL 7.x / CentOS 7.xx:
systemctl enable cloudera-scm-server.service
- Ubuntu的:
update-rc.d -f cloudera-scm-server defaults
- RHEL6.x,CentOS 6.x和SUSE:
创建预部署的工作主机
- 基于支持的操作系统实例化虚拟机映像(如果使用Amazon Web Services,则为AMI)并启动虚拟机。有关详细信息,请参阅虚拟化环境的文档。
- 从公共包存储库或 已创建的存储库下载工作者主机所需的宗地,并将其保存到临时目录。请参阅Cloudera Manager版本和下载信息。
- 从下载包裹的同一位置下载 parcel_name .parcel.sha1 每个包裹的文件。
- 计算并比较下载的宗地的sha1,以确保正确下载了宗地。例如:
sha1sum KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel | awk'{print $ 1}'> KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel.sha diff KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel.sha1 KAFKA-2.0 .2-1.2.0.2.p0.5-el6.parcel.sha
- 打开包裹的包装:
- 创建以下目录:
- /opt/cloudera/parcels
- /opt/cloudera/parcel-cache
- 设置刚刚创建的两个目录的所有权,以便它们由Cloudera Manager代理运行的用户名拥有。
- 使用以下命令设置每个目录的权限:
sudo chmod 755 <directory>
请注意,这些目录的内容将公开,并且可以安全地标记为世界可读的。 - 作为运行Cloudera Manager代理的同一用户运行,使用以下命令从临时目录中提取parcel的内容:
tar -zxvf <parcel> -C / opt / cloudera / parcels /
- 从每个宗地的产品名称添加符号链接到 /opt/cloudera/parcels目录。
例如,要链接 /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24 至 / opt / cloudera / parcels /CDH,使用以下命令:sudo ln -s /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24 /opt/cloudera/parcels/CDH
- 在启动时通过添加a来标记Cloudera Manager代理不会删除宗地 .dont_delete 标记文件(此文件没有内容)到每个子目录 /opt/cloudera/parcels目录。例如:
touch /opt/cloudera/parcels/CDH/.dont_delete
- 创建以下目录:
6.验证文件是否存在:
ls -l / opt / cloudera / parcels / <parcel>
您应该看到类似于以下内容的输出:
ls -al / opt / cloudera / parcels / CDH
total 100
drwxr-xr-x 9 root root 4096 Sep 14 14:53 .
drwxr-xr-x 9 root root 4096 Sep 14 06:34 ..
drwxr-xr-x 2 root root 4096 Sep 12 06:39 bin
-rw-r--r-- 1 root root 0 Sep 14 14:53 .dont_delete
drwxr-xr-x 26 root root 4096 Sep 12 05:10 etc
drwxr-xr-x 4 root root 4096 Sep 12 05:04 include
drwxr-xr-x 2 root root 69632 Sep 12 06:44 jars
drwxr-xr-x 37 root root 4096 Sep 12 06:39 lib
drwxr-xr-x 2 root root 4096 Sep 12 06:39 meta
drwxr-xr-x 5 root root 4096 Sep 12 06:39 share
drwxr-xr-x 9 root root 4096 Sep 14 14:53 .
drwxr-xr-x 9 root root 4096 Sep 14 06:34 ..
drwxr-xr-x 2 root root 4096 Sep 12 06:39 bin
-rw-r--r-- 1 root root 0 Sep 14 14:53 .dont_delete
drwxr-xr-x 26 root root 4096 Sep 12 05:10 etc
drwxr-xr-x 4 root root 4096 Sep 12 05:04 include
drwxr-xr-x 2 root root 69632 Sep 12 06:44 jars
drwxr-xr-x 37 root root 4096 Sep 12 06:39 lib
drwxr-xr-x 2 root root 4096 Sep 12 06:39 meta
drwxr-xr-x 5 root root 4096 Sep 12 06:39 share
- 安装Cloudera Manager代理。如果您还没有这样做,请执行步骤1:为Cloudera Manager配置存储库。
- 创建工作主机的映像。有关详细信息,请参阅虚拟化环境的文档。
实例化工作者主机
- 实例化Cloudera工作者主机映像。
- 编辑以下文件并设置 SERVER_HOST 和 服务器端口 用于引用Cloudera Manager服务器主机的属性。
- 如有必要,请执行其他步骤以配置TLS / SSL。请参阅为Cloudera Manager配置TLS加密。
- 启动代理服务:
sudo service cloudera-scm-agent start