zoukankan      html  css  js  c++  java
  • Hive介绍和Hive环境搭建

    一.Hive介绍

       Hive包含用户接口、元数据库、解析器和数据仓库等组件组成,其中用户接口包含shell客户端、JDBC、ODBC、Web接口等。元数据库主要是指定义在hive中的表结构信息,一般保存到关系型数据库中,默认是derby,一般使用mysql进行保存。解析器主要功能是将HQL语句转换为mapreduce代码。数据仓库就是由hdfs组成的数据存储容器。
    (1)Hive组成
    Hive包含用户接口、元数据库、解析器和数据仓库等组件组成,其中用户接口包含shell客户端、JDBC、ODBC、Web接口等。元数据库主要是指定义在hive中的表结构信息,一般保存到关系型数据库中,默认是derby,一般使用mysql进行保存。解析器主要功能是将HQL语句转换为mapreduce代码。数据仓库就是由hdfs组成的数据存储容器。
    (2)Hive结构

     

    (3)Hive安装
    Hive根据metastore的存储位置不同,分为三种安装模式:内嵌模式,本地模式,远程模式。内嵌模式就是使用derdy存储元数据;本地模式是将hvie.metastore.local设置为true,就是说metastore和hive客户端安装在同一台机器上;远程模式指的是我们明确指定metastore安装的机器位置,而且可以指定多个,需要给定参数hive.metastore.uris并且hive.metastore.local必须设置为false。
    Hive远程模式安装,使用mysql进行元数据的存储。安装步骤:
    1. 安装mysql数据库。
    2. hive本地模式安装。

    二.安装mysql

    1. 使用root用户: su root
    2. 安装


    yum install mysql
    yum install mysql-server
    yum install mysql-devel(可选)
    3. 修改配置信息,添加: vim /etc/my.cnf


    如果是rpm安装的话,则my.cnf在/usr目录


    [mysql]
    default-character-set=utf8
    [mysqld]
    character-set-server=utf8
    lower_case_table_names=1



    4. 启动mysql:


    service mysqld restart/stop/start


    启动时有可能会报以下的错:

    MySQL server PID file could not be found![失败]
    Starting MySQL...The server quit without updating PID file (/usr/local/mysql/data/snsgou.pid).[失败]
    则有可能是重复第二次安装了,或者是my.cnf文件设置 “skip-federated“没注释掉
    解决方法有参考:https://www.cnblogs.com/wangshaojun/p/5065298.html
     

    5. 配置超级用户名和密码,


    mysqladmin -u root password 123456



    6. root用户登录


    mysql -u root -p 123456


    可能会报错:

    Access denied for user 'root'@'localhost' (using password: YES) 拒绝访问

    我的解决方法是:将/usr/my.cnf配置文件加上skip-federated,再复制到/etc目录下,此举为跳过密码认证

     

     


    7. 创建mysql用户:create user 'hive' identified by 'hive';
    8. 授权:grant all privileges on *.* to 'hive'@'%' with grant option
    9. 重启一下这个mysql服务。
    10. 使用hive用户创建数据库并修改连接信息。
    create database hive;
    alter database hive character set latin1;

    终端输入mysql,结果如图所示即安装成功

     

    三. 安装hive

    1. 下载hive:http://archive.cloudera.com/cdh5/cdh/5/hive-0.13.1-cdh5.3.6.tar.gz
    2. hive的帮助文档位置:https://cwiki.apache.org/confluence/display/Hive/LanguageManual,
    hive官网:http://hive.apache.org
    3. 参考hive-site.xml文件
    4. 将bin目录添加到path目录中,


    vim ~/.bash_profile
    export HIVE_HOME=/home/hadoop/bigdater/hive-0.13.1-cdh5.3.6/
    export PATH=$PATH:$HIVE_HOME/bin
    source ~/.bash_profile



    5. 移动mysql驱动jar到hive的lib文件夹下。
    6. 启动metastore服务(启动hdfs+yarn服务)


    hive --service metastore &



    7. 进入hive的客户端
    hive

    如下图所示

     

  • 相关阅读:
    1046 Shortest Distance (20 分)(模拟)
    1004. Counting Leaves (30)PAT甲级真题(bfs,dfs,树的遍历,层序遍历)
    1041 Be Unique (20 分)(hash散列)
    1036 Boys vs Girls (25 分)(查找元素)
    1035 Password (20 分)(字符串处理)
    1044 Shopping in Mars (25 分)(二分查找)
    onenote使用小Tip总结^_^(不断更新中...)
    1048 Find Coins (25 分)(hash)
    三个故事
    领导者的举止
  • 原文地址:https://www.cnblogs.com/Transkai/p/10540404.html
Copyright © 2011-2022 走看看