Hive安装和部署
2、使用软件及其版本
环境
虚拟机:VirtualBox 6.0.24 r139119
Linux:CentOS 7
Windows:Windows10
软件
Hive-1.1.0-cdh5.7.0
Mysql-5.7.21-1.el7.x86_64
工具
远程连接工具:XShell6
SFTP工具:FileZilla3.33.0
3、目标
-
MySQL安装
-
Hive安装
4、操作步骤
-
MySQL安装
-
删除原有的mariadb
安装新的mysql之前，如果原系统中有mariadb，先删除系统原有的mariadb,不然安装报错。
-
查看有无安装过mysql，使用命令:
rpm -qa|grep mysql
-
删除mariadb
-
-
下载并安装mysql
可以在https://downloads.mysql.com/archives/community/ 下载
-
安装mysql
-
上传到master节点的software的目录下，进行解压，使用命令:
tar -xvf mysql-5.7.21-1.el7.x86_64.rpm-bundle.tar -C ~/app/mysql -
安装mysql，使用命令:
sudo rpm -ivh mysql-community-common-5.7.21-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-5.7.21-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-devel-5.7.21-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-compat-5.7.21-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-client-5.7.21-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-server-5.7.21-1.el7.x86_64.rpm如发现有如下安装错误:
这是由于yum安装了旧版本的GPG keys造成的 ,解决办法有两个：
-
方法一
在安装命令后面加上 --force --nodeps，进行强制安装。
-
方法二
运行如下命令:
rpm --import /etc/pki/rpm-gpg/RPM*
-
-
-
启动mysql服务
-
先查看mysql服务是否启动，使用命令:
systemctl status mysqld
-
启动mysql服务，使用命令:
systemctl start mysqld
-
-
查询root随机密码
MySQL5.7会在安装后为root用户生成一个随机密码，而不是像以往版本的空密码。 可以安全模式修改root登录密码或者用随机密码登录修改密码。MySQL为root用户生成的随机密码通过mysqld.log文件可以查找到，使用命令：
grep 'temporary password' /var/log/mysqld.log
-
修改root用户密码
-
mysql -u root -p 旧密码
-
设置新密码，使用命令:
set PASSWORD FOR ‘root’@’localhost’=新密码
注意:密码不允许过于简单
-
重新用新密码登陆
-
-
设置开机自启动
设置mysql服务，开机自动启动，使用命令:
chkconfig mysqld on
-
创建hive数据库用来保存hive元数据，使用命令
create database hive;
-
授权使 (操作系统用户)用户可以操作数据库hive中的所有表，使用命令
grant all on hive.* to hadoop@'master' identified by 'hadoop';
flush privileges;
如果出现如下错误:
是由于mysql5.7的安全策略问题，需要修改安全策略.
-
查看 mysql 初始的密码策略，使用命令：
SHOW VARIABLES LIKE 'validate_password%';
-
需要设置密码的验证强度等级，使用命令:
set global validate_password_policy=LOW;
-
重新设置密码长度，使用命令：
set global validate_password_length=6;
-
-
-
Hive安装
-
下载hive
在下列网址http://archive-primary.cloudera.com/cdh5/cdh/5/下载hive的cdh版本
注意:当前cdh版本已经不在提供免费资源下载
-
解压hive压缩文件，使用命令:
``` tar -zxvf ~/software/hive-1.10-cdh5.7.0.tar.gz –C ~/app``` -
配置hive
进入hive安装目录的conf目录下，创建新文件hive-site.xml，使用命令:
sudo vi hive-site.xml添加配置内容:
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hadoop</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hadoop</value>
</property>
</configuration>
-
修改hive-env.sh文件
拷贝conf目录下的hive-env.sh.template为hive-env.sh，使用命令:
cp hive-env.sh.template hive-env.sh在hive-env.sh，使用命令:
sudo vi hive-env.sh添加内容：
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_131
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
-
追加mysql的jdbc驱动jar包
在hive解压目录的lib文件夹下添加mysql的jdbc驱动
-
配置环境变量，使用命令:
sudo vi /etc/profile在/etc/profile文件末尾最佳hive的环境变量:
export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0
export PATH=$HIVE_HOME/bin:$PATH
使用
source /etc/profile命令，使配置生效 -
验证安装
保证hadoop已经启动，mysql服务已经开启，然后执行命令：
hive
进入Hive命令行，执行命令，创建一个名为test的表,并查询该表的记录数，使用命令:
create table test(id int);
select count(*) from test;
如果没有报错，表示安装成功!
查看mysql中的元数据
-
5、总结