zoukankan      html  css  js  c++  java

  • CDH安装指南——酒仙网技术

    1、集群规划

        说明：由于CDH管理集群很方便，可以动态添加删除主机，动态改变主机主机上的服务，动态监控服务状态；

        1）、主机准备：windows宿主机或linux桌面版宿主机或苹果宿主机（本人使用的debian+xfce桌面作为自己的宿主机）

        2）、虚拟机软件准备：使用VMware Workstation12 pro   

            

        3）、虚拟机系统：centos 6.5

        4）、机器规划：hadoopmaster、hadoopslave01、hadoopslave02、hadoopslave（作为基础镜像使用）

            例如：

            注意：所有的虚拟机的账号密码都是统一的，意思就是说分布式看成一个主机

        5）、hadooopmaster 运行 Cloudera Manager

    2、资源准备：

        1）、下载postgresql分别：http://yum.postgresql.org/8.4/redhat/rhel-6-x86_64/repoview/

            postgresql84-8.4.22-1PGDG.rhel6.x86_64.rpm  

            postgresql84-libs-8.4.22-1PGDG.rhel6.x86_64.rpm  

            postgresql84-server-8.4.22-1PGDG.rhel6.x86_64.rpm

        2）、下载最新版本的cm资源包压缩包：http://archive-primary.cloudera.com/cm5/repo-as-tarball/5.7.1/   

            

            注意：根据自己的虚拟机下载对应版本的cm，注意cm一定要是最新版本；

        3）、下载最新版本的cm安装包程序：http://archive.cloudera.com/cm5/installer/latest/

            

        4）、安装hadoop、hivingsql、hbase等分布式生态系统软件：http://archive.cloudera.com/cdh5/parcels/5.7.1/

            

            

            注意：分别下载截图中的文件

    3、虚拟机配置所有的机器都需要的配置

        1）、修改主机名：vi /etc/sysconfig/network        

    1. NETWORKING=yes
    2. HOSTNAME=hadoopmaster

        2）、修改hosts文件：vi /etc/hosts

    1. #host
    2. 192.168.240.129 hadoopmaster
    3. 192.168.240.130 hadoopslave01
    4. 192.168.240.134 hadoopslave02
    5. #192.168.240.129 archive.cloudera.com

        3）、设置固定IP，根据自己的需求设置：vi /etc/sysconfig/network-scripts/ifcfg-eth0

    1. DEVICE="eth1"
    2. BOOTPROTO="static"
    3. HWADDR="00:50:56:34:61:2E"
    4. IPV6INIT="yes"
    5. NM_CONTROLLED="yes"
    6. ONBOOT="yes"
    7. TYPE="Ethernet"
    8. #UUID="6d6002f2-4f52-49ef-bb07-e2b54637cafb"
    9. IPADDR=192.168.240.134
    10. NETMASK=255.255.255.0
    11. GATEWAY=192.168.240.2
    12. DNS1=192.168.240.2

        4）、重启网络服务：service network restart

    4、关机防火墙 和 SELinux

        1）、关闭防火墙

            service iptables stop    （临时关闭防火墙）

            chkconfig iptables off    （重启后生效）

        2）、关闭SELinux

            setenforce 0 （临时设置selinux）

            vi /etc/selinux/config

    1. # This file controls the state of SELinux on the system.
    2. # SELINUX= can take one of these three values:
    3. #     enforcing - SELinux security policy is enforced.
    4. #     permissive - SELinux prints warnings instead of enforcing.
    5. #     disabled - No SELinux policy is loaded.
    6. SELINUX=disabled
    7. # SELINUXTYPE= can take one of these two values:
    8. #     targeted - Targeted processes are protected,
    9. #     mls - Multi Level Security protection.
    10. SELINUXTYPE=targeted

    5、集群间服务器使用无密码ssh登陆，再次提醒各个集群中的主机最好使用统一的账号密码

        1）、hadoopmaster主机

    1. ssh-keygen -t rsa (一直按回车即可)
    2. ssh-copy-id -i localhost
    3. ssh-copy-id -i hadoopmaster
    4. ssh-copy-id -i hadoopslave01
    5. ssh-copy-id -i hadoopslave02

        2）、hadoopslave01主机

    1. ssh-keygen -t rsa (一直按回车即可)
    2. ssh-copy-id -i localhost
    3. ssh-copy-id -i hadoopmaster
    4. ssh-copy-id -i hadoopslave01

        3）、hadoopslave02主机

    1. ssh-keygen -t rsa (一直按回车即可)
    2. ssh-copy-id -i localhost
    3. ssh-copy-id -i hadoopmaster
    4. ssh-copy-id -i hadoopslave02

    6、建立cm资源服务器——安装Apache httpd web服务器

        1）、检查httpd服务是否安装：service httpd status

            如果没有安装：yum install -y httpd

    1. yum install -y httpd #安装httpd
    2. service httpd start	#启动命令
    3. service httpd stop	#关闭命令
    4. service httpd restart	#重启命令
    5. service httpd status	#查看服务状态
    6. chkconfig httpd on	#将httpd加入到启动列表

    7、选择hadoopmaster作为cm的资源服务器发布cm

    1. [root@localhost hadoopmaster]# pwd
    2. /home/hadoop/hadoopmaster
    3. [root@localhost hadoopmaster]# ll
    4. total 529076
    5. -rw-r--r--. 1 root root 541768507 Jun 14 09:14 cm5.7.1-centos6.tar.gz
    6. [root@localhost hadoopmaster]# tar -zxvf cm5.7.1-centos6.tar.gz 
    7. cm/
    8. cm/hadoopmaster-manager.repo
    9. cm/5
    10. cm/5.7.1/
    11. cm/5.7.1/mirrors
    12. cm/5.7.1/repodata/
    13. cm/5.7.1/repodata/other.xml.gz.asc
    14. cm/5.7.1/repodata/filelists.xml.gz
    15. cm/5.7.1/repodata/primary.xml.gz.asc
    16. cm/5.7.1/repodata/repomd.xml
    17. cm/5.7.1/repodata/other.xml.gz
    18. cm/5.7.1/repodata/repomd.xml.asc
    19. cm/5.7.1/repodata/primary.xml.gz
    20. cm/5.7.1/repodata/filelists.xml.gz.asc
    21. cm/5.7.1/RPMS/
    22. cm/5.7.1/RPMS/x86_64/
    23. cm/5.7.1/RPMS/x86_64/hadoopmaster-manager-daemons-5.7.1-1.cm502.p0.297.el6.x86_64.rpm
    24. cm/5.7.1/RPMS/x86_64/enterprise-debuginfo-5.7.1-1.cm502.p0.297.el6.x86_64.rpm
    25. cm/5.7.1/RPMS/x86_64/hadoopmaster-manager-server-db-2-5.7.1-1.cm502.p0.297.el6.x86_64.rpm
    26. cm/5.7.1/RPMS/x86_64/hadoopmaster-manager-server-5.7.1-1.cm502.p0.297.el6.x86_64.rpm
    27. cm/5.7.1/RPMS/x86_64/hadoopmaster-manager-agent-5.7.1-1.cm502.p0.297.el6.x86_64.rpm
    28. cm/5.7.1/RPMS/x86_64/oracle-j2sdk1.7-1.7.0+update45-1.x86_64.rpm
    29. cm/5.7.1/RPMS/x86_64/jdk-6u31-linux-amd64.rpm
    30. cm/5.7.1/RPMS/noarch/
    31. cm/RPM-GPG-KEY-hadoopmaster
    32. [root@localhost hadoopmaster]# ll
    33. total 529080
    34. drwxrwxr-x. 3 1106  592      4096 Jun 11 11:08 cm
    35. -rw-r--r--. 1 root root 541768507 Jun 14 09:14 cm5.7.1-centos6.tar.gz
    36. [root@localhost hadoopmaster]#

            ——移动加压后的cm文件夹到web目录，并设置权限

    1. [root@localhost html]# pwd
    2. /var/www/html
    3. [root@localhost html]# mkdir -p cm5/redhat/6/x86_64
    4. [root@localhost html]# cd cm5/redhat/6/x86_64
    5. [root@localhost x86_64]# mv /home/soft/cloudera/cm .
    6. [root@localhost x86_64]# chmod -R ugo+rX cm

           ——设置完成后访问下地址：http://hadoopmaster/cm5/redhat/6/x86_64/cm/


    8、安装Cloudera Manager 5

        1）、安装postgresql

            是否安装postgresql：rpm -qa|grep postgres，如果已经安装，但版本小于8.4，则使用rpm -e卸载。

    1. [root@localhost postgresql84]# rpm -ivh postgresql84-libs-8.4.21-1PGDG.rhel6.x86_64.rpm
    2. warning: postgresql84-libs-8.4.21-1PGDG.rhel6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID 442df0f8: NOKEY
    3. Preparing...                ########################################### [100%]
    4.    1:postgresql84-libs      ########################################### [100%]
    5. [root@localhost postgresql84]# rpm -ivh postgresql84-8.4.21-1PGDG.rhel6.x86_64.rpm 
    6. warning: postgresql84-8.4.21-1PGDG.rhel6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID 442df0f8: NOKEY
    7. Preparing...                ########################################### [100%]
    8.    1:postgresql84           ########################################### [100%]
    9. [root@localhost postgresql84]# rpm -ivh postgresql84-server-8.4.21-1PGDG.rhel6.x86_64.rpm 
    10. warning: postgresql84-server-8.4.21-1PGDG.rhel6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID 442df0f8: NOKEY
    11. Preparing...                ########################################### [100%]
    12.    1:postgresql84-server    ########################################### [100%]
    13. [root@localhost postgresql84]#

        2）、修改安装cm的客户端的配置

            cd /etc/yum.repos.d/

            mv /etc/yum.repos.d/Centos-* /home/hadoop/soft/

            vi /etc/yum.repos.d/myrepo.repo

    1. [myrepo]
    2. name=myrepo
    3. baseurl=http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/
    4. enabled=1
    5. gpgcheck=0

            vi /etc/hosts

    1. #host
    2. 192.168.240.129 hadoopmaster
    3. 192.168.240.130 hadoopslave01
    4. 192.168.240.134 hadoopslave02
    5. 192.168.240.129 archive.cloudera.com

        3）、安装CM5

    1. [root@localhost cloudera]# chmod +x cloudera-manager-installer.bin
    2. [root@localhost cloudera]# ./cloudera-manager-installer.bin

            注意：查看安装过程日志：/var/log/cloudera-manager-installer/

        4）、安装过程中截图     

            a、安装过程比较漫长，耐心等地

            

            b、安装完成，查看安装地址：http://192.168.240.134:7180/

            

            c、登陆界面，默认账号：admin 密码：admin

            

            d、同意条款

            

            e、选择免费版——cloudera manager express

            

            f、设置ip端，例如：192.168.240.[1-255] ，然后点击搜索    

            

            g、选择主机节点

            

    9、集群安装hadoop、hivingsql、hbase、spark、storm等，即CDH

        1）、安装cdh

            a、集群安装

            

            b、使用”更多选项“使用”本地 Parcel 存储库路径“，位置：/opt/cloudera/parcel-repo        

            

           

            注意（每台机器执行）：yum install -y portmap python-psycopg2 cyrus-sasl-gssapi mod_ssl openssl-devel MySQL-python


             1）、将前面下载的CDH parcels文件放到 /opt/cloudera/parcel-repo 目录下

    1. [root@hadoopmaster parcel-repo]# mv /home/hadoop/Documents/parcel/* ./
    2. [root@hadoopmaster parcel-repo]# ls
    3. CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel       manifest.json
    4. CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1

            2）、生成对应的sha文件

                manifest.json 文件中按照版本“CDH-5.7.1-1.cdh5.7.1.p0.53-el6.parcel” -（根据自己的版本选定） 找到对应的 hash值  

            "hash": "67fc4c86b260eeba15c339f1ec6be3b59b4ebe30"

            3）、hash值保存在sha文件中

            echo '67fc4c86b260eeba15c339f1ec6be3b59b4ebe30'>CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel.sha 根据自己的版本定

    1. [root@hadoopmaster parcel-repo]# ls
    2. CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel       manifest.json
    3. CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1
    4. [root@hadoopmaster parcel-repo]# echo 'e24f56882ecdcf6837636abc8298c629c0f9d109' > CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1

        2）、验证

            根据自己的使用情况进行验证；

            



    文章摘自： http://blog.csdn.net/feixeyes/article/details/38084403

                        http://blog.csdn.net/yhl27/article/details/37726639
  • 相关阅读:
    通过AEC解读WF的核心原理(三)Execute方法Activity的入口
    LINQ解 爱因斯坦迷题
    通过AEC解读WF的核心原理(一)Activity的副本
    动态表单
    通过AEC解读WF的核心原理(九)实现IEventActivity
    WF3.5 的SendActivity、ReceiveActivity与WorkflowServiceHost(1)
    通过AEC解读WF的核心原理(六)创建复本ForEach循环
    WF的异常捕获与资源补偿
    WF资料打包下载
    NET下的流程图开发包介绍
  • 原文地址：https://www.cnblogs.com/linuxone/p/5577035.html
Copyright © 2011-2022 走看看