zoukankan      html  css  js  c++  java
  • 使用yum安装CDH Hadoop集群

    使用yum安装CDH Hadoop集群——局域网集群

    原文链接:http://blog.chinaunix.net/uid-33797-id-4912855.html,更详细过程参考原文。

    简单描述:

      在局域网集群内部使用本地yum源搭建CDH集群,并进行相关配置。

    简要步骤:

      1.配置本地yum仓库,集群本地yum源

      2.修改节点hosts信息

      3.配置ssh无秘钥登录

      4.安装和配置HDFS

      5.安装和配置yum

      6.安装和配置zookeeper

    详细步骤:

      1.配置本地yum仓库,本地yum源

        本地yum仓库主要是将已经有的yum源文件进行共享,是的集群中每一个节点都能访问到,一本可以通过http服务器,ftp服务器,NFS挂载方式进行共享

        注:只要能共享并且其他节点能够访问到就可以,形式不限。

        1>集群可以上网,本地yum源配置详细过程自行百度_参考http://www.cnblogs.com/nidey/p/6200685.html

        2>如果不能够上网,可以直接进入到/etc/yum.repos.d/目录,删除或者备份原有的.repo文件(CentOS 默认安装yum,没有的自行安装)

          然后创建自己的xxx.repo文件,进行简单配置

          编辑xxx.repo文件,输入:(简单配置,需要详细配置的自行百度,各个元素含义自行百度)    

    1 [cloudera-cdh5]
    2 # Packages for Cloudera's Distribution for Hadoop, Version 5, on RedHat or CentOS 6 x86_64
    3 name=Cloudera's Distribution for Hadoop, Version 5
    4 baseurl=http://xx.xx.xx.xx/cdh/5/
    5 gpgcheck = 0

        3>执行 yum clean all

        4>直接使用

      2.配置节点hosts信息——使用DNS可以略过这一步

        2.1 修改hostname

          使用hostname 指令查看各个节点名称是否与规划一致

          如果不一致:

          修改/etc/sysconfig/network中hostname=master

          其他节点修改成相对应的名称

        2.2 检查hostname和ip和规划上一致无误

        2.3 修改hosts  -> 如果使用DNS,可以不配置,这里配置好也是一种好的习惯

          修改/etc/hosts ,添加以下内容

          192.168.240.162 master

          192.168.240.163 slave1

          192.168.240.167 slave2

          192.168.240.161 slave3

        2.4 检查各个节点通过hostname是否能相互ping通  

      3.配置ssh 无秘钥登录

        ——>方便切换节点进行配置,master节点直接ssh到其他节点

        ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa

    ssh-copy-id -i ip  

      4.安装和配置hdfs —— 安装配置zookeeper参考原文:http://blog.chinaunix.net/uid-33797-id-4912855.html,比较详细或者查看官网http://www.cloudera.com/documentation/enterprise/latest/topics/introduction.html更佳。 

      

  • 相关阅读:
    工厂模式一
    面向对象的简单理解二
    工厂模式三
    线程的简单学习
    nyoj35 表达式求值
    nyoj305 表达式求值
    poj1298 The Hardest Problem Ever
    poj1363 Rails
    hdu2036 改革春风吹满地
    nyoj467 中缀式变后缀式
  • 原文地址:https://www.cnblogs.com/husky/p/6322705.html
Copyright © 2011-2022 走看看