zoukankan      html  css  js  c++  java
  • Cloudera CDH 、Impala本地通过Parcel安装配置详解

    一、Parcel本地源与Package本地源的区别

    本地通过Parcel安装过程与本地通过Package安装过程完全一致,不同的是两者的本地源的配置。

    区别如下:

    Package本地源:软件包是.rpm格式的,数量通常较多,下载的时候比较麻烦。通过"createrepo ."的命令创建源,并要放到存放源文件主机的web服务器的根目录下,详见创建本地yum软件源,为本地Package安装Cloudera Manager、Cloudera Hadoop及Impala做准备

    Parcel本地源:软件包是以.parcel结尾,相当于压缩包格式的,一个系统版本对应一个,下载的时候方便。如centos 6.x使用的CDH版本为CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel,而centos 5.x使用的CDH版本为CDH-4.3.0-1.cdh4.3.0.p0.22-el5.parcel

    CDH的下载地址:http://archive.cloudera.com/cdh4/parcels/

    IMPALA的下载地址:http://archive.cloudera.com/impala/parcels/

    下载好相应的.parcel文件后,拷贝到本地的parcel源目录下(有Cloudera Manager Server指定,默认是/opt/cloudera/parcel-repo),然后打开同目录下的mainfest.json(也要拷贝到其中)文件,找到与你下载的包一致的那部分,然后根据其创建一个sha文件。例如我的操作系统是CentOS 6.4,下载的对应包为CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel,那么就应该找到相应的:

    {
          "parcelName": "CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel",
          "components": [
            { "name":     "flume-ng",
              "version":  "1.3.0-cdh4.3.0",
              "pkg_version":  "1.3.0+159" 
            }
            ,{ "name":     "hadoop-0.20-mapreduce",
              "version":  "2.0.0-cdh4.3.0",
              "pkg_version":  "2.0.0+1357" 
            },         

    . . . .  <snip> . . .

    ,{ "name": "zookeeper", "version": "3.4.5-cdh4.3.0", "pkg_version": "3.4.5+19" } ,{ "name": "hue", "version": "2.3.0-cdh4.3.0", "pkg_version": "2.3.0+136" } ], "hash": "df5cc61b2d257aaf625341f709a4f8e09754038a" },

    然后创建一个后缀名为.sha的文本文件,名字与下载的parcel同名,我下载的为CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel,所以sha文件CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel.sha。然后执行如下命令将hash码写到sha文件中。

    # cat > CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel.sha
    df5cc61b2d257aaf625341f709a4f8e09754038a

    然后将sha文件也拷贝到本地parcel源的目录下。
    总之,要确保/opt/cloudera/parcel-repo下面有三个文件:

       CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel

       mainfest.json

       CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel.sha

    这些文件放好之后,CM会获取这个包,并出现在主机->包裹的页面。出现的快慢跟你设置的包的刷新频率有关,默认是1小时。

    可以在管理页面的属性标签下的包裹种类里修改。

  • 相关阅读:
    java事件处理机制(自定义事件)
    EL表达式 (详解)
    Java编程思想(四) —— 复用类
    优秀辅助网站使用记录
    快速部署tomcat项目的Shell脚本
    数据库SQL优化大总结
    常用排序算法及应用背景
    Java面试通关秘籍汇总集
    Java堆、栈和常量池以及相关String详解
    常用加密算法概述
  • 原文地址:https://www.cnblogs.com/shudonghe/p/3145013.html
Copyright © 2011-2022 走看看