zoukankan      html  css  js  c++  java
  • Hadoop入门进阶课程8--Hive介绍和安装部署

    本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,博主为石山园,博客地址为 http://www.cnblogs.com/shishanyuan  。该系列课程是应邀实验楼整理编写的,这里需要赞一下实验楼提供了学习的新方式,可以边看博客边上机实验,课程地址为 https://www.shiyanlou.com/courses/237

    【注】该系列所使用到安装包、测试数据和代码均可在百度网盘下载,具体地址为 http://pan.baidu.com/s/10PnDs,下载该PDF文件

    1搭建环境

    部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序,用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建/app目录,并修改该目录拥有者为shiyanlou(chown R shiyanlou:shiyanlou /app)。

    Hadoop搭建环境:

    l  虚拟机操作系统: CentOS6.6  64位,单核,1G内存

    l  JDK1.7.0_55 64

    l  Hadoop1.1.2

    2Hive介绍

    HiveFacebook开发的构建于Hadoop集群之上的数据仓库应用,它提供了类似于SQL语法的HQL语句作为数据访问接口,这使得普通分析人员的应用Hadoop的学习曲线变小,Hive有如下特性:

    lHive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并使用sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析;

    lHive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 Mapper Reducer 来处理内建的Mapper Reducer 无法完成的复杂的分析工作。

    2.1 Hive与关系数据库的区别

    使用Hive的命令行接口很像操作关系数据库,但是Hive和关系数据库还是有很大的不同, Hive与关系数据库的区别具体如下:

    1. Hive和关系数据库存储文件的系统不同,Hive使用的是HadoopHDFSHadoop的分布式文件系统),关系数据库则是服务器本地的文件系统;

    2. Hive使用的计算模型是Mapreduce,而关系数据库则是自身的计算模型;

    3.关系数据库都是为实时查询的业务进行设计的,而Hive则是为海量数据做数据挖掘设计的,实时性很差;实时性的区别导致Hive的应用场景和关系数据库有很大的不同;

    4. Hive很容易扩展自己的存储能力和计算能力,这个是继承Hadoop的,而关系数据库在这个方面要比数据库差很多。

    2.2  Hive架构

    clip_image002

    由上图可知,HadoopmapreduceHive架构的根基。Hive架构包括如下组件:CLIcommand line interface)、JDBC/ODBCThrift ServerWEB GUImetastoreDriver(ComplierOptimizerExecutor),这些组件分为两大类:服务端组件和客户端组件。

    服务端组件:

    lDriver组件:该组件包括ComplierOptimizerExecutor,它的作用是将HiveQL(类SQL)语句进行解析、编译优化,生成执行计划,然后调用底层的mapreduce计算框架;

    lMetastore组件:元数据服务组件,这个组件存储Hive的元数据,Hive的元数据存储在关系数据库里,Hive支持的关系数据库有derbymysql。元数据对于Hive十分重要,因此Hive支持把metastore服务独立出来,安装到远程的服务器集群里,从而解耦Hive服务和metastore服务,保证Hive运行的健壮性;

    lThrift服务:thriftfacebook开发的一个软件框架,它用来进行可扩展且跨语言的服务的开发,Hive集成了该服务,能让不同的编程语言调用hive的接口。

     

    客户端组件:

    lCLIcommand line interface,命令行接口。

    lThrift客户端:上面的架构图里没有写上Thrift客户端,但是Hive架构的许多客户端接口是建立在thrift客户端之上,包括JDBCODBC接口。

    lWEBGUIHive客户端提供了一种通过网页的方式访问hive所提供的服务。这个接口对应Hivehwi组件(hive web interface),使用前要启动hwi服务。

     

    3搭建Hive环境

    3.1 安装MySql数据库

    3.1.1 下载mysql安装文件

    下载地址:http://dev.mysql.com/downloads/mysql/#downloads,使用系统为CentOS选择 Red Hat Enterprise Linux/Oracle系列,也可以在/home/shiyanlou/install-pack目录中找到这些安装包:

    clip_image004

    操作系统为64位,选择对应安装包进行下载:

    clip_image006

    clip_image008

    clip_image010

    下载在本地目录如下图:

    clip_image012

    3.1.2 安装mysql

    使用命令查看是否已经安装过mysql

    sudo rpm -qa | grep -i mysql

    可以看到如下图的所示:

    clip_image014

    说明之前安装了mysql,可以参考4.1进行卸载旧的mysql。如果以前没有安装mysql则进入安装文件的目录,安装mysql服务端

    cd /home/shiyanlou/install-pack

    sudo rpm -ivh MySQL-server-5.6.21-1.el6.x86_64.rpm

    clip_image016

    出现异常,通过分析缺少libaio依赖包,使用如下命令进行安装:

    sudo yum install libaio

    clip_image018

    再次安装mysql,并安装mysql客户端、mysql-devel

    sudo rpm -ivh MySQL-server-5.6.21-1.el6.x86_64.rpm

    sudo rpm -ivh MySQL-client-5.6.21-1.el6.x86_64.rpm

    sudo rpm -ivh MySQL-devel-5.6.21-1.el6.x86_64.rpm

    clip_image020

    3.1.3 启动mysql服务

    通过下面查看mysql服务状态:

    sudo service mysql status

    如果mysql没有启动,通过如下命令进行启动:

    sudo service mysql start

    clip_image022

    3.1.4 设置root密码

    CentOS6.5操作系统使用如下命令给mysql设置root密码时,出现如下错误:

    /usr/bin/mysqladmin -u root password 'root';

    clip_image024

    /usr/bin/mysqladmin: connect to server at 'localhost' failed

    error: 'Access denied for user 'root'@'localhost' (using password: NO)'

    可以进入安全模式进行设置root密码

    (1) 停止mysql服务

    使用如下命令停止mysql服务:

    sudo service mysql stop

    sudo service mysql status

    (2) 跳过验证启动mysql

    使用如下命令验证启动mysql,由于&结尾是后台运行进程,运行该命令可以再打开命令窗口或者Ctr+C继续进行下步操作:

    sudo mysqld_safe --skip-grant-tables &

    sudo service mysql status

    clip_image026

    (3) 跳过验证启动MySQL

    验证mysql服务已经在后台运行后,执行如下语句,其中后面三条命令是在mysql语句:

    mysql -u root

    mysql>use mysql;

    mysql>update user set password = password('root') where user = 'root';

    mysql>flush privileges;

    clip_image028

    (4) 跳过验证启动MySQL

    重启mysql服务并查看状态

    sudo service mysql restart

    sudo service mysql status

    clip_image030

    3.1.5 设置Hive用户

    进入mysql命令行,创建hive用户并赋予所有权限:

    mysql -uroot -proot

    mysql>set password=password('root');

    mysql>create user 'hive' identified by 'hive';

    mysql>grant all on *.* TO 'hive'@'%' identified by 'hive' with grant option;

    mysql>grant all on *.* TO 'hive'@'localhost' identified by 'hive' with grant option;

    mysql>flush privileges;

    clip_image032

    (注意:如果是root第一次登录数据库,需要重新设置一下密码,所报异常信息如下:ERROR 1820 (HY000): You must SET PASSWORD before executing this statement

    3.1.6 创建hive数据库

    使用hive用户登录,创建hive数据库:

    mysql -uhive -phive -h hadoop

    mysql>create database hive;

    mysql>show databases;

    clip_image034

    3.2 安装Hive

    3.2.1 解压并移动Hive安装包

    可以到Apache基金hive官网http://hive.apache.org/downloads.html,选择镜像下载地址:http://mirrors.cnnic.cn/apache/hive/下载一个稳定版本,如下图所示:

    clip_image036

    也可以在/home/shiyanlou/install-pack目录中找到该安装包,解压该安装包并把该安装包复制到/app目录中

    cd /home/shiyanlou/install-pack

    tar -xzf hive-0.12.0-bin.tar.gz

    mv hive-0.12.0-bin /app/hive-0.12.0

    clip_image038

    3.2.2 解压并移动MySql驱动包

    mysql官网进入下载页面:http://dev.mysql.com/downloads/connector/j/ ,选择所需要的版本进行下载,这里下载的zip格式的文件

    clip_image040

     

    也可以在/home/shiyanlou/install-pack目录中找到该安装包,解压该安装包并把该安装包复制到/app/lib目录中

    cd /home/shiyanlou/install-pack

    cp mysql-connector-java-5.1.22-bin.jar /app/hive-0.12.0/lib

    clip_image042

    3.2.3 配置/etc/profile环境变量

    使用如下命令打开/etc/profile文件:

    sudo vi /etc/profile

    设置如下参数:

    export HIVE_HOME=/app/hive-0.12.0

    export PATH=$PATH:$HIVE_HOME/bin

    export CLASSPATH=$CLASSPATH:$HIVE_HOME/bin

    clip_image044

    使配置文件生效:

    source /etc/profile

    echo $PATH

    3.2.4 设置hive-env.sh配置文件

    进入hive-0.12.0/conf目录,复制hive-env.sh.templaetehive-env.sh

    cd /app/hive-0.12.0/conf

    cp hive-env.sh.template hive-env.sh

    sudo vi hive-env.sh

    clip_image046

    分别设置HADOOP_HOMEHIVE_CONF_DIR两个值:

    # Set HADOOP_HOME to point to a specific hadoop install directory

    export HADOOP_HOME=/app/hadoop-1.1.2

    # Hive Configuration Directory can be controlled by:

    export HIVE_CONF_DIR=/app/hive-0.12.0/conf

    clip_image048

    3.2.5 设置hive-site.xml配置文件

    复制hive-default.xml.templaetehive-site.xml

    cd /app/hive-0.12.0/conf

    cp hive-default.xml.template hive-site.xml

    sudo vi hive-site.xml

    clip_image050

    (1) 加入配置项

    默认metastore在本地,添加配置改为非本地

    <property>

      <name>hive.metastore.local</name>

      <value>false</value>

    </property>

    clip_image052

    (2) 修改配置项

    hive默认为derby数据库,需要把相关信息调整为mysql数据库

    <property>

      <name>hive.metastore.uris</name>

      <value>thrift://hadoop:9083</value>

      <description>Thrift URI for the remote metastore. ...</description>

    </property>

    <property>

      <name>javax.jdo.option.ConnectionURL</name>

      <value>jdbc:mysql://hadoop:3306/hive?=createDatabaseIfNotExist=true</value>

      <description>JDBC connect string for a JDBC metastore</description>

    </property>

    <property>

      <name>javax.jdo.option.ConnectionDriverName</name>

      <value>com.mysql.jdbc.Driver</value>

      <description>Driver class name for a JDBC metastore</description>

    </property>

    <property>

      <name>javax.jdo.option.ConnectionUserName</name>

      <value>hive</value>

      <description>username to use against metastore database</description>

    </property>

    <property>

      <name>javax.jdo.option.ConnectionPassword</name>

      <value>hive</value>

      <description>password to use against metastore database</description>

    </property>

    clip_image054

    clip_image056

    (3) 订正错误项

    在配置文件2000行左右配置项hive.server2.thrift.sasl.qop原来为<value>auth</auth>,按照如下进行修改:

    <property>

      <name>hive.server2.thrift.sasl.qop</name>

      <value>auth</value>

      <des.....

    </property>

    clip_image058

    并把hive.metastore.schema.verification配置项值修改为false

    <property>

      <name>hive.metastore.schema.verification</name>

      <value>false</value>

       <desc....>

    </property>

    clip_image060

    3.3 验证部署

    3.3.1 启动metastorehiveserver

    在使用hive之前需要启动metastorehiveserver服务,通过如下命令启用:

    hive --service metastore &

    hive --service hiveserver &

    clip_image062

    启动用通过jps命令可以看到两个进行运行在后台

    clip_image064

    3.3.2 hive中操作

    登录hive,在hive创建表并查看该表,命令如下:

    hive

    hive>create table test(a string, b int);

    hive>show tables;

    hive>desc test;

    clip_image066

    登录mysql,在TBLS表中查看新增test表:

    mysql -uhive -phive

    mysql>use hive;

    mysql>select TBL_ID, CREATE_TIME, DB_ID, OWNER, TBL_NAME,TBL_TYPE from TBLS;

    clip_image068

    4问题解决

    4.1 卸载旧的mysql

    (1)  查找以前是否安装有mysql

    使用命令查看是否已经安装过mysql

    sudo rpm -qa | grep -i mysql

    可以看到如下图的所示:

    clip_image014[1]

    说明之前安装了:

    MySQL-client-5.6.21-1.el6.x86_64

    MySQL-server-5.6.21-1.el6.x86_64

    MySQL-devel-5.6.21-1.el6.x86_64

    如果没有结果,可以进行跳到3.1.3步骤的mysql数据库安装

    (2)  停止mysql服务、删除之前安装的mysql

    停止mysql服务、删除之前安装的mysql删除命令:rpm -ev nodeps 包名

    sudo rpm -ev MySQL-server-5.6.21-1.el6.x86_64

    sudo rpm -ev MySQL-devel-5.6.21-1.el6.x86_64

    sudo rpm -ev MySQL-client-5.6.21-1.el6.x86_64

    clip_image070

    如果存在CentOS自带mysql-libs-5.6.21-1.el6.x86_64使用下面的命令卸载即可

    sudo rpm -ev --nodeps mysql-libs-5.6.21-1.el6.x86_64

    (3)  查找之前老版本mysql的目录并且删除老版本mysql的文件和库

    sudo find / -name mysql

    clip_image072

    删除对应的mysql目录

    sudo rm -rf /usr/lib64/mysql

    sudo rm -rf /var/lib/mysql

    clip_image074

    (4)  再次查找机器是否安装mysql

    sudo rpm -qa | grep -i mysql

    无结果,说明已经卸载彻底、接下来直接安装mysql即可

    clip_image076

    4.2 Hive启动,报CommandNeedRetryException异常

    启动hive时,出现CommandNeedRetryException异常,具体信息如下:

    clip_image078

    Exception in thread "main" java.lang.NoClassDefFoundError:org/apache/hadoop/hive/ql/CommandNeedRetryException

            at java.lang.Class.forName0(Native Method)

            at java.lang.Class.forName(Class.java:270)

            at org.apache.hadoop.util.RunJar.main(RunJar.java:149)

    Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.ql.CommandNeedRetryException

            at java.net.URLClassLoader$1.run(URLClassLoader.java:366)

            at java.net.URLClassLoader$1.run(URLClassLoader.java:355)

            at java.security.AccessController.doPrivileged(Native Method)

            at java.net.URLClassLoader.findClass(URLClassLoader.java:354)

            at java.lang.ClassLoader.loadClass(ClassLoader.java:425)

            at java.lang.ClassLoader.loadClass(ClassLoader.java:358)

    由于以前使用hadoop时,修改hadoop-env.shHADOOP_CLASSPATH配置项,由以前的:

    export HADOOP_CLASSPATH=/app/hadoop-1.1.2/myclass

    修改为:

    export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/app/hadoop-1.1.2/myclass

    clip_image080

     

    clip_image082

    4.3 Hive中使用操作语言

    启动hive后,使用Hql出现异常,需要启动metastorehiveserver

    clip_image084

    FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient

    在使用hive之前需要启动metastorehiveserver服务,通过如下命令启用:

    hive --service metastore &

    hive --service hiveserver &

    clip_image086

    启动用通过jps命令可以看到两个进行运行在后台

    clip_image064[1]

  • 相关阅读:
    假期十一
    假期十
    假期九
    假期八
    假期七
    假期六
    假期五
    假期四
    2020.02.11
    2020.02.10
  • 原文地址:https://www.cnblogs.com/shishanyuan/p/4648201.html
Copyright © 2011-2022 走看看