zoukankan      html  css  js  c++  java
  • 【云计算】Hadoop 0.20.1 + Hive 0.4.1 + Fedora 12 终极配置

    1. JDK配置

    1       从Sun的网站下载JDK,注意有两个linux下的安装包。一个是rpm,一个是普通的bin,二者均可。

    2       进入下载的目录,安装jdk。(不会的就google)。

    3       等待其安装结束,不必配置其他信息。在Fedora 12中djk的环境变量均已自动配置。

    注意:请先卸载系统自带的openJDK,保险一些。可从安装包管理器中卸载。

    2. Hadoop配置

    2.1 虚拟机配置

        一台NameNode,两台DataNode。

    2.2 配置总体过程

        以下记录配置过程以及要点。

    2.2.1 主要配置内容

        配置可分为两类:系统配置和Hadoop配置,主要内容包括主机配置、SSH和Hadoop三部分内容。

    2.2.1.1 系统配置

        系统配置包括主机名、hosts、防火墙、SSH的配置。

    2.2.1.1.1 主机名(各个机器均需配置)

    l  修改主机名,避免后续SSH生成的密钥中含有localhost而造成的密钥混乱

    l  配置过程

    n  以root身份登录系统

    n  vi /etc/sysconfig/network

    n  修改HOSTNAME的值,随意取。

    n  保存并重启系统

    2.2.1.1.2 Hosts文件(各个机器均需配置)

    因为Hadoop通过SSH进行主机间的认证和通信,所以需要添加Hadoop中各类型节点的ip地址和机器名。

    l  配置过程

    n  以root身份登录系统

    n  vi /etc/hosts

    n  添加所需节点的ip地址和机器名

    n  保存并退出

    n  ping各个机器名,测试是否成功。

    2.2.1.1.3 防火墙配置(各个机器均需配置)

    Datanode在连接Namenode时,可能会被防火墙阻拦,故关闭Namenode的防火墙:

    l  以root身份登录

    l  关闭防火墙

    service iptables stop

    service ip6tables stop

    2.2.1.1.4 SSH配置(各个机器均需配置)

    因为Hadoop通过SSH进行主机间的认证和通信,需要配置各个机器的SSH,包括生成和发布密钥。需要注意的是:

    (1)        SSH密钥和机器名相关,故只要机器名发生变化,均需要重新生成密钥

    (2)        密钥的所有者需要是当前登录用户。如果不是,需要修改authorized_keys的权限

    l  生成密钥

    n  ssh-keygen –t <rsa/dsa>(可选择rsa或dsa加密方式)

    n  根据屏幕提示进行操作。(均留空即可)

    n  如果.ssh目录下不存在authorized_keys文件,只需:

    cp .ssh/id_rsa.pub .ssh/authorized_keys

    n  如果已存在authorized_keys文件,将新生成的公钥附加到authorized_keys文件中:

    cat  .ssh/id_rsa.pub >> .ssh/authorized_keys

    l  发布密钥

    将.ssh/authorized_keys拷贝到所需的机器上:

    scp .ssh/authorized_keys username@machinename:/your/dictionary

    l  以root身份登录机器

    l  启动/重启sshd服务

    启动:service sshd start

    重启:service sshd restart

    停止:service sshd stop

    2.2.1.2 Hadoop配置、

    Hadoop配置包括以下内容:Hadoop环境配置和运行期配置。

    2.2.1.2.1 Hadoop环境配置

    环境配置包括配置master、slaves、core-site.xml和hadoop-env.sh文件的配置。

    2.2.1.2.1.1 master

    master文件指明了namenode节点的机器名,故只需将namenode节点的机器名添加到此文件中。

    2.2.1.2.1.2 slaves

    Slaves文件指明了包括了datanode节点在内的其他节点的机器名,故只需将这类节点的机器名添加到次文件中。

    2.2.1.2.1.3 core-site.xml

    主要的配置,需要指明hdfs文件系统以及jobtracker等节点的机器名和端口号。

    2.2.1.2.1.4 hadoop-env.sh

    至少配置JAVA_HOME,建议书写绝对路径代替环境变量的写法。

    2.2.1.2.2 运行期配置

    运行期配置包括:文件系统格式化和各个节点的启动。

    2.2.1.2.2.1 文件系统格式化

    在修改Hadoop配置文件后,建议重新格式化Hadoop文件系统:

    bin/hadoop namenode –format

    2.2.1.2.2.1 启动Hadoop

    l  启动: ./bin/start-all.sh

    l  日志在logs目录下。

    3. Hive配置

    基本不用什么配置,下载 -》 解压,配置环境变量:

    Export HIVE_HOME=/your/hive/install/path

    1       启动Hive。

    Hadoop启动成功后,继续执行$HIVE_HOME/bin/hive,即可。

    2       使用Hive hwi的web界面

    执行$HIVE_HOME/bin/hive –service hwi,即可。

    在浏览器中访问该地址:http://your_hive_server_ip:9999/hwi

  • 相关阅读:
    阿里云centos7搭建php+nginx环境
    python初学者总结
    python -virtualenvwrapper 切换不同的python版本
    You are using pip version 8.1.2, however version 9.0.1 is available.
    centos下安装pip时失败:
    mysql 导入数据是报错:2006
    CentOS下简单的MySQL数据库操作
    centos-安装mysql
    CentOS7.x 报错 There are no enabled repos.
    nginx查看变量值
  • 原文地址:https://www.cnblogs.com/itgg168/p/2792423.html
Copyright © 2011-2022 走看看