zoukankan      html  css  js  c++  java
  • CDH安装Hadoop

    一.安装CDH-manager

    1.关闭selinux

    修改/etc/selinux/config 文件

    将SELINUX=enforcing改为SELINUX=disabled

    重启机器即可
     
    2.修改bin文件的运行权限,运行bin文件后,进入安装cdh-manager的安装界面
    如果直接安装,cdh-manager会去archive.cloudera.com下载安装包,这样会很慢,所以最好在内网搭一个下载源,做个host
    echo '192.168.8.XX archive.cloudera.com' >> /etc/hosts
    每一步安装的日志会保存在  /var/log/cloudera-manager-installer/目录
     
    3.设置全部机器的hostname,并关闭iptable  /etc/init.d/iptables stop
    我的集群情况
    192.168.15.115  nn.hadoop.com
    192.168.15.99 dn1.hadoop.com
    192.168.15.162 dn2.hadoop.com
    3.安装成功后,就在浏览器输入http://192.168.15.115:7180/,账号密码都是admin,
    然后输入这三台机的ip
    搜索结果
    选择安装包
     
     
    这里如果选择Parcel包安装,会卡在下载Parcel的步骤,不知道为什么,可能还是因为网络原因,需要去官网下载parcel包,这肯定会很慢
    进入安装界面
    在这一步一般会遇到比较多问题:
    1.显示 获取XXX资源error,主要原因是访问cdh的官网会比较慢,而且下载的包一般都比较大,一共要下载2G左右,所以如果没有内部的源来下载,去官网下载的话,失败的几率很大
    2.报错:
    安装失败。 无法接收 Agent 发出的检测信号。
    请确保主机的名称已正确配置。
    请确保端口 7182 可在 Cloudera Manager Server 上访问(检查防火墙规则)。
    请确保正在添加的主机上的端口 90009001 空闲。
    检查正在添加的主机上 /var/log/cloudera-scm-agent/ 中的代理日志(某些日志可在安装详细信息中找到)。

    原因是/etc/hosts 里面配置的ip hosts设置错误,ip和host不对应

    3.yum安装某个包的时候失败,报由于XXX包依赖于XXX包导致安装失败的错误,最后我把所有虚拟机都还原,重新安装cdh了~~~~~

    安装完成后,选择启动所有的服务

    添加所有服务

    后面连接Report Manager时数据库的时候可能会报错Unknown host ':7432'. Unable to find it from host.

    解决方法:

    用netstat查看 7432端口状态 如果监听的主键为localhost 就修改
    /var/lib/cloudera-scm-server-db/data/ 里面的postgres.conf,的listen_address为'*',然后/etc/init.d/cloudera-scm-server-db.sh restart重启
    
    页面上数据库主机名称那一栏加上域名,例如nn.hadoop.com:7432

    启动服务时如果

    卡住了hive的启动,报错'Hive Metastore Database Host' is required when using database type 'postgresql'
    需要在cdh的页面里面修改hive的配置,把Metastore的主机名改成是nn.hadoop.com
     
    如果重启机器,需要手动启动cdh-agent
    /etc/init.d/cloudera-scm-agent start
     
    如果报时钟偏差,启动所有机器的ntpd服务
    /etc/init.d/ntpd start

    搭建内部源:

    用 wget -c -r -np -k -L -p http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.0.0/ 

    把所有文件下载下来,然后用nginx做一个静态资源服务器

  • 相关阅读:
    《CLR Via C# 第3版》笔记之(十四) 泛型高级
    《CLR Via C# 第3版》笔记之(十三) 泛型基础
    AOP学习基于Emit和Attribute的简单AOP实现
    《CLR Via C# 第3版》笔记之(十五) 接口
    C# 连接Oracle(利用ODP.net,不安装oracle客户端)
    《CLR Via C# 第3版》笔记之(十七) 线程基础
    C#直接读取磁盘文件(类似linux的Direct IO模式)
    《CLR Via C# 第3版》笔记之(十六) 字符串
    [置顶] C#中通过调用webService获取上网IP地址的区域的方法
    Android中Socket通讯类
  • 原文地址:https://www.cnblogs.com/Xjng/p/4072816.html
Copyright © 2011-2022 走看看