转:https://blog.csdn.net/qq_26222859/article/details/79976506
译自官网: Installing Cloudera Manager and CDH
本节介绍安装Cloudera Manager,CDH和托管服务(英文术语为management service)的选项。托管服务的选项有2种:托管部署和非托管部署,对应的英文术语为cloudera manager deployment和unmanaged deployment。你可以安装:
- 使用Cloudera Manager deployment安装Cloudera Manager,CDH和management service,是安装CDH和托管服务的推荐方法。
- 使用非托管部署。
Cloudera Manager Deployment
Cloudera Manager deployment由以下软件组件组成:
- Oracle JDK
- Cloudera Manager Server and Agent packages
- Supporting database software
- CDH and managed service software
本节介绍创建一个新的Cloudera Manager deployment的三个主要安装路径以及选择安装路径的条件。 如果您的集群已经安装了Cloudera Manager的先前版本,请按照 Cloudera Upgrade Overview进行操作。
重点:如果您打算以高可用性配置部署Cloudera Manager,请在开始安装之前参阅Configuring Cloudera Manager for High Availability With a Load Balancer
这三个Cloudera Manager安装路径既有相同,也有不同,不同的部分支持不同的用户和群集主机要求:
非生产部署
安装路径A - Cloudera Manager自动安装(非生产模式) - Cloudera Manager在集群主机上自动安装Oracle JDK,Cloudera Manager Server,嵌入式PostgreSQL数据库,Cloudera Manager Agent,CDH和托管服务软件。 Cloudera Manager还为Cloudera Manager Server和Hive Metastore以及可选的Cloudera Management Service角色配置数据库。 建议将此路径用于演示和概念证明部署,但不推荐用于生产部署,因为它不打算扩展,并且可能需要在群集增长时进行数据库迁移。 要使用此方法,服务器和群集主机必须满足以下要求:
- 提供使用root帐户或具有无密码sudo权限的帐户登录到Cloudera Manager Server主机的功能。
- 允许Cloudera Manager Server主机在所有主机的同一端口上进行统一的SSH访问。 有关更多信息,请参阅 CDH and Cloudera Manager Networking and Security Requirements。
- 所有主机必须有权访问标准软件包存储库以及archive.cloudera.com或具有所需安装文件的本地存储库。
安装路径B - 使用Cloudera Manager包或软件包进行安装 - 您可以在Cloudera Manager Server主机上安装Oracle JDK,Cloudera Manager Server和嵌入式PostgreSQL数据库包。 在集群主机上安装Oracle JDK,Cloudera Manager Agent,CDH和托管服务软件有两种选择:手动安装它或使用Cloudera Manager自动安装。
为了让Cloudera Manager自动安装Cloudera Manager Agent软件包或CDH和托管服务软件,群集主机必须满足以下要求:
- 允许Cloudera Manager Server主机在所有主机的同一端口上进行统一的SSH访问。 有关更多信息,请参阅 CDH and Cloudera Manager Networking and Security Requirements。
- 所有主机必须有权访问标准软件包存储库以及archive.cloudera.com或具有所需安装文件的本地存储库。
以上是非生产部署,下面我们看看生产部署
生产部署
生产部署 - 需要您先为Cloudera Manager Server和Hive Metastore手动安装和配置生产数据库。 有安装路径B和安装路径C两个安装选项:
安装路径B - 使用Cloudera Manager包或软件包进行安装 - 您可以在Cloudera Manager Server主机上安装Oracle JDK和Cloudera Manager Server软件包。 在集群主机上安装Oracle JDK,Cloudera Manager Agent,CDH和托管服务软件有两种选择:手动安装它或使用Cloudera Manager自动安装。
为了让Cloudera Manager自动安装Cloudera Manager Agent软件包或CDH和托管服务软件,群集主机必须满足以下要求:
- 允许Cloudera Manager Server主机在所有主机的同一端口上进行统一的SSH访问。 有关更多信息,请参阅 CDH and Cloudera Manager Networking and Security Requirements。
- 所有主机必须有权访问标准软件包存储库以及archive.cloudera.com或具有所需安装文件的本地存储库。
安装路径C - 使用Cloudera Manager Tarballs手动安装 - 使用tarball安装Oracle JDK,Cloudera Manager Server和Cloudera Manager Agent软件,并使用Cloudera Manager将CDH和托管服务软件作为包裹进行自动安装。
重点:Cloudera不支持在Docker容器中使用主机进行CDH集群部署。
Cloudera Manager 安装阶段
下表介绍了安装Cloudera Manager和Cloudera Manager部署CDH和托管服务的阶段。 每个阶段都是必需的,但您可以通过多种方式完成每个阶段,具体取决于你自身的组织决策和要求。 根据Cloudera Manager Server和群集主机上Cloudera Manager Server和数据库软件的安装方式,这六个阶段分为三个安装路径。 上文已经介绍了选择安装路径A、B、C的标准。
Phase | |||
---|---|---|---|
Phase 1: Install JDK
Install the JDK required by Cloudera Manager Server, Management Service, and CDH. |
有两种选择:
|
||
Phase 2: Set up Databases
Install, configure, and start the databases that are required by the Cloudera Manager Server, Cloudera Management Service, and that are optional for some CDH services. |
有两种选择:
|
||
Path A | Path B | Path C | |
Phase 3: Install Cloudera Manager Server
Install and start Cloudera Manager Server on one host. |
使用Cloudera Manager安装程序安装其软件包和服务器。 在主机上需要Internet访问权限和sudo权限。 | 使用Linux软件包安装命令(如yum)来安装Cloudera Manager Server。 更新数据库属性。 使用service命令启动Cloudera Manager Server。
|
使用Linux命令解压tar包(tar包英文术语为tarball)和service命令启动服务器。 |
Phase 4: Install Cloudera Manager Agents
Install and start the Cloudera Manager Agent on all hosts. |
使用Cloudera Manager安装向导在所有主机上安装代理。 | 有两种选择:
|
使用Linux命令解压tar包和service命令以启动服务器。 |
Phase 5: Install CDH and Managed Service software
Install, configure, and start CDH and managed services on all hosts. |
使用Cloudera Manager安装向导安装CDH和其他托管服务。 | 有两种选择:
|
使用Linux命令解压缩tar包和service命令在所有主机上启动CDH和托管服务。 |
Phase 6: Create, Configure and Start CDH and Managed Services
Configure and start CDH and managed services. |
使用Cloudera Manager安装向导安装CDH和其他托管服务,为主机分配角色并配置群集。 许多配置都是自动的。 | 使用Cloudera Manager安装向导安装CDH和其他托管服务,为主机分配角色并配置群集。 许多配置都是自动的。 | 使用Cloudera Manager安装向导安装CDH和其他托管服务,为主机分配角色并配置群集。 许多配置都是自动的。 您还可以使用Cloudera Manager API来管理群集,这对编写预配置的部署脚本很有用。
|
Cloudera Manager 安装的软件
Clouera Manager在受支持的安装路径下提供了如下软件:
安装路径A(非生产) - 一个小型自行执行的Cloudera Manager安装程序,用于安装Cloudera Manager Server和其他软件包。 Cloudera Manager安装程序执行以下操作:
- 安装Cloudera Manager和Oracle Java Development Kit(JDK)的软件包存储库。
- 安装Cloudera Manager软件包。
- 安装和配置嵌入式PostgreSQL数据库(嵌入式英文术语为embedded),以供Cloudera Manager Server,某些Cloudera Management Service角色,某些托管服务和Cloudera Navigator角色使用。
重点:path A仅用于演示和概念验证部署。 不要在生产环境中使用这种安装方法。
安装路径B和C - Cloudera Manager软件包存储库,用于手动安装Cloudera Manager Server,代理和嵌入式数据库软件包。
安装路径B - 用于自动安装Cloudera Manager Agent软件包的Cloudera Manager安装向导。
所有安装路径 - 用于在群集主机上自动执行CDH和受管服务安装和配置的Cloudera Manager安装向导。 Cloudera Manager提供了两种安装CDH和托管服务的方法:parcels和packages。 Parcels简化了安装过程,并允许您从Cloudera Manager内下载,分发和激活新版本的CDH和托管服务。 首次安装Cloudera Manager并连接到Cloudera Manager Admin Console后,请使用Cloudera Manager安装向导执行以下操作:
- 发现集群主机。
- (可选)安装Oracle JDK。
- (可选)在群集主机上安装CDH,托管服务和Cloudera Manager Agent软件。
- 选择服务。
- 将服务角色映射到主机。
- 编辑服务配置。
- 启动服务。
如果您中止软件安装过程,安装向导将自动恢复并回滚任何未安装完成的组件的安装过程。 (已在主机上成功完成的安装不会在该主机上回滚。)
安装路径:
Unmanaged Deployment
在不受Cloudera Manager管理的部署中,您负责管理每个主机上CDH和托管服务组件的生命周期的所有阶段:安装,配置和服务生命周期操作,例如启动和停止。 本节介绍在非托管部署中安装CDH 5软件的替代方法。
1. 命令行方法:
- 下载并安装CDH 5“一键安装”软件包
- 添加CDH 5存储库
- 构建您自己的CDH 5存储库
2. tarball:
您可以从 CDH downloads下载tarball。 牢记以下几点:
- 从tarball安装CDH 5将安装YARN。
- 在CDH 5中,MRv1没有单独的tarball。 相反,MRv1二进制文件,示例等在Hadoop tarball中提供。 用于运行MRv1的脚本位于tarball中的bin-mapreduce1目录中,MRv1示例位于 examples-mapreduce1目录中。
有关每个选项的详细说明,请参阅 Installing and Deploying CDH Using the Command Line。