Hive安装和部署andMySQL安装和部署

Hive安装和部署

1、背景知识

2、使用软件及其版本

• 环境

  • 虚拟机:VirtualBox 6.0.24 r139119

  • Linux:CentOS 7

  • Windows:Windows10

• 软件

  • Hive-1.1.0-cdh5.7.0

  • Mysql-5.7.21-1.el7.x86_64

• 工具

• 远程连接工具:XShell6

• SFTP工具:FileZilla3.33.0

3、目标

• MySQL安装

• Hive安装

4、操作步骤

1. MySQL安装

   1. 删除原有的mariadb

      安装新的mysql之前，如果原系统中有mariadb，先删除系统原有的mariadb,不然安装报错。

      1. 查看有无安装过mysql，使用命令:

         rpm -qa|grep mysql

         

      2. 删除mariadb

         

         

   2. 下载并安装mysql

      可以在https://downloads.mysql.com/archives/community/ 下载

      

   3. 安装mysql

      1. 上传到master节点的software的目录下，进行解压，使用命令:

         tar -xvf mysql-5.7.21-1.el7.x86_64.rpm-bundle.tar -C ~/app/mysql

      2. 安装mysql，使用命令:

          sudo rpm -ivh mysql-community-common-5.7.21-1.el7.x86_64.rpm
          sudo rpm -ivh mysql-community-libs-5.7.21-1.el7.x86_64.rpm
          sudo rpm -ivh mysql-community-devel-5.7.21-1.el7.x86_64.rpm
          sudo rpm -ivh mysql-community-libs-compat-5.7.21-1.el7.x86_64.rpm
          sudo rpm -ivh mysql-community-client-5.7.21-1.el7.x86_64.rpm
          sudo rpm -ivh mysql-community-server-5.7.21-1.el7.x86_64.rpm

         如发现有如下安装错误:

         

         这是由于yum安装了旧版本的GPG keys造成的 ,解决办法有两个：

         • 方法一

           在安装命令后面加上 --force --nodeps，进行强制安装。

         • 方法二

           运行如下命令:

           rpm --import /etc/pki/rpm-gpg/RPM*

   4. 启动mysql服务

      • 先查看mysql服务是否启动，使用命令:

        systemctl status mysqld

        

      • 启动mysql服务，使用命令:

        systemctl start mysqld

        

   5. 查询root随机密码

      MySQL5.7会在安装后为root用户生成一个随机密码，而不是像以往版本的空密码。 可以安全模式修改root登录密码或者用随机密码登录修改密码。MySQL为root用户生成的随机密码通过mysqld.log文件可以查找到，使用命令：

      grep 'temporary password' /var/log/mysqld.log

      

   6. 修改root用户密码

      • mysql -u root -p 旧密码

        

      • 设置新密码，使用命令:

        set PASSWORD FOR ‘root’@’localhost’=新密码

         

        注意:密码不允许过于简单

      • 重新用新密码登陆

        

   7. 设置开机自启动

      设置mysql服务，开机自动启动，使用命令:

      chkconfig mysqld on

      

   8. 创建hive数据库用来保存hive元数据，使用命令

      create database hive;

      

   9. 授权使 (操作系统用户)用户可以操作数据库hive中的所有表，使用命令

       grant all on hive.* to hadoop@'master' identified by 'hadoop';
       flush privileges;

      

      

      如果出现如下错误:

      

      是由于mysql5.7的安全策略问题，需要修改安全策略.

      1. 查看 mysql 初始的密码策略，使用命令：

         SHOW VARIABLES LIKE 'validate_password%';

         

      2. 需要设置密码的验证强度等级，使用命令:

         set global validate_password_policy=LOW;

         

      3. 重新设置密码长度，使用命令：

         set global validate_password_length=6;

         

2. Hive安装

   1. 下载hive

      在下列网址http://archive-primary.cloudera.com/cdh5/cdh/5/下载hive的cdh版本

      

      注意:当前cdh版本已经不在提供免费资源下载

   2. 解压hive压缩文件，使用命令:

       ``` tar -zxvf ~/software/hive-1.10-cdh5.7.0.tar.gz –C ~/app```

   3. 配置hive

      进入hive安装目录的conf目录下，创建新文件hive-site.xml，使用命令:

      sudo vi hive-site.xml

      添加配置内容:

       <?xml version="1.0" encoding="UTF-8" standalone="no"?>
       <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
       <configuration>
           <property>
           <name>javax.jdo.option.ConnectionURL</name>
               <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
               </property>
           <property>
               <name>javax.jdo.option.ConnectionDriverName</name>
               <value>com.mysql.jdbc.Driver</value>
           </property>
           <property>
               <name>javax.jdo.option.ConnectionUserName</name>
               <value>hadoop</value>
           </property>
           <property>
               <name>javax.jdo.option.ConnectionPassword</name>
               <value>hadoop</value>
           </property>
       </configuration>

      

   4. 修改hive-env.sh文件

      拷贝conf目录下的hive-env.sh.template为hive-env.sh，使用命令:

      cp hive-env.sh.template hive-env.sh

      在hive-env.sh，使用命令:

      sudo vi hive-env.sh

      添加内容：

       export JAVA_HOME=/home/hadoop/app/jdk1.8.0_131
       export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0

      

   5. 追加mysql的jdbc驱动jar包

      在hive解压目录的lib文件夹下添加mysql的jdbc驱动

      

   6. 配置环境变量，使用命令:

      sudo vi /etc/profile

      在/etc/profile文件末尾最佳hive的环境变量:

       export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0
       export PATH=$HIVE_HOME/bin:$PATH

      

      使用source /etc/profile命令，使配置生效

   7. 验证安装

      保证hadoop已经启动，mysql服务已经开启，然后执行命令：

      hive

      

      进入Hive命令行，执行命令，创建一个名为test的表,并查询该表的记录数，使用命令:

       create table test(id int);
       select count(*) from test;

      

      如果没有报错，表示安装成功!

      查看mysql中的元数据

      

5、总结