Hive的安装部署

实验一   Hive的安装部署

实验目的

1. • 掌握Hive的安装方式
2. • 掌握Hive的安装过程
3. 硬件环境要求

实验环境

PC机至少4G内存，硬盘至少预留50G空间。

1. 软件要求

l  安装部署好Hadoop，本次实验演示是基于3个节点的Hadoop集群，主节点主机名为Hadoop00，两个从节点主机名为Hadoop01和Hadoop02。

l  安装好mysql数据库

实验要求

1. 安装Hive
2. 能正常访问Hive

实验步骤

第3章 Hive安装部署

1     环境准备

1.1   启动三个hadoop：

1.1.1    进入hadoop启动命令文件夹sbin

实验操作演示：

 

所用命令或代码：

# cd /usr/local/hadoop/sbin/

1.1.2    启动hadoop集群

实验操作演示：

 

所用命令或代码：

# start-all.sh

1.1.3    在三个hadoop节点上查看是否启动成功

实验操作演示：

 

 

 

所用命令或代码：

# jps

1.2   验证mysql数据库是否可用

实验操作演示：

 

所用命令或代码：

# mysql –u root –p

2     安装并配置hive

2.1   在apache官网下载Hive安装包，进行解压安装：

2.1.1    安装包已经存放到/usr/local目录下，在/usr/local目录下解压Hive安装包

所用命令或代码：

# cd /usr/local   //进入local目录

# tar zxvf apache-hive-2.1.0-bin.tar.gz  //tar包

# mv apache-hive-2.1.0-bin hive //换为短名

2.2   配置环境变量

2.2.1    修改环境变量

实验操作演示：

 

所用命令或代码：

# vim /etc/profile

加入hive相关的环境变量

export HIVE_HOME=/usr/local/hive

export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf

2.2.2    使设置环境变量生效

实验操作演示：

 

所用命令或代码：

# source /etc/profile

2.3   修改Hive的配置文件

到hive 配置文件目录中

# cd /usr/local/hive/conf

把初始化的文件 复制一份出来 并且改名:

实验操作演示：

 

所用命令或代码：

cp hive-env.sh.template hive-env.sh

cp hive-default.xml.template hive-site.xml

cp hive-log4j2.properties.template hive-log4j2.properties

cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

2.4   修改hive-env.sh

添加以下四个环境变量的配置：

实验操作演示：

 

 

所用命令或代码：

export JAVA_HOME=/usr/local/jdk ##Java路径

export HADOOP_HOME=/usr/local/hadoop ##Hadoop安装路径

export HIVE_HOME=/usr/local/hive ##Hive安装路径

export HIVE_CONF_DIR=${HIVE_HOME}/conf ##Hive配置文件路径

2.5   配置hive,使用mysql存放hive的元数据。

2.5.1    复制mysql驱动程序到hive的lib目录下

mysql驱动包已经放在local目录下，复制过程如下。

实验操作演示：

 

所用命令或代码：

# cp mysql-connector-java-5.1.17.jar /usr/local/hive/lib/

2.5.2    配置hive-site.xml

l  将${system:...字样替换成具体路径，具体修改项如下：

<property>

    <name>hive.exec.local.scratchdir</name>

    <value>/usr/local/hive</value>

    <description>Local scratch space for Hive jobs</description>

</property>

<property>

    <name>hive.downloaded.resources.dir</name>

    <value>/usr/local/hive/downloads</value>

    <description>Temporary local directory for added resources in the remote file system.</description>

</property>

<property>

    <name>hive.querylog.location</name>

    <value>/usr/local/hive/querylog</value>

    <description>Location of Hive run time structured log file</description>

</property>

<property>

    <name>hive.server2.logging.operation.log.location</name>

    <value>/usr/local/hive/server2_logs</value>

    <description>Top level directory where operation logs are stored if logging functionality is enabled</description>

</property>

l  在 hive-site.xml 文件中配置 MySQL 数据库连接信息。

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value> jdbc:mysql://192.168.11.170:3306/hive</value>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>111111</value>

</property>

2.6   在msyql中创建存放hive信息的数据库

实验操作演示：

 

 

所用命令或代码：        

mysql>create database hive;

2.7   初始化hive的元数据(表结构)到mysql中。

实验操作演示：

 

所用命令或代码：

       # cd /soft/hive/bin

       # schematool -dbType mysql –initSchema

3     Hive的访问

实验操作演示：

 

所用命令或代码：

# hive –v