zoukankan      html  css  js  c++  java
  • CentOS7搭建Hive1.2.2+mysql5.7

    (关于搭建Hadoop环境,可参考:https://www.cnblogs.com/SysoCjs/p/10835793.html)

    说明:

    #master,表示在master节点上操作;

    #master,#slave1,#slave2,表示在三个节点上都要操作;

    一、安装Hive1.2.2

    1、源码包下载

    #master

    http://mirror.bit.edu.cn/apache/hive/

    可以直接到官网点击下载到本地,然后cp到CentoOS7上;或者使用命令下载:

    wget http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz

    解压压缩包:

    tar zxvf apache-hive-1.2.2-bin.tar.gz

    2. 修改Hive配置文件

    #Master

    cd apache-hive-1.2.2-bin/conf

    在/conf文件夹下面,默认是没有hive-site.xml文件,所以要创建一个,然后进入修改内容:

    touch hive-site.xml
     
    vim hive-site.xml

    添加内容:

    <?xml version="1.0" encoding="UTF-8" standalone="no" ?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl" ?>
    <configuration>
            <property>
                    <name>javax.jdo.option.ConnectionURL</name>
                    <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
            </property>
            <property>
                    <name>javax.jdo.option.COnnectionDriverName</name>
                    <value>com.mysql.jdbc.Driver</value>
            </property>
            <property>
                    <name>javax.jdo.option.ConnectionUserName</name>
                    <value>root</value>
            </property>
            <property>
                    <name>javax.jdo.option.ConnectionPassword</name>
                    <value>123456</value>
            </property>
    </configuration>

    3、配置环境变量:

    #Master、Slave1、Slave2

    输入命令:

    vim ~/.bashrc

    追加语句:

    export HIVE_HOME=/usr/local/src/apache-hive-1.2.2-bin
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin

    文件添加了一个HIVE_HOME变量,以及在原先PATH上追加了“:$HIVE_HOME/bin”。

    #刷新资源文件,输入命令:

    source ~/bashrc

    值得注意一点:hadoop原装有个jlines的jar包,版本是0.9.0x,但是hive需要用到2.x的版本,所以:

    将当前hive版本的$HIVE_HOME/lib目录下的jline-2.12.jar包拷贝到$HADOOP_HOME/share/hadoop/yarn/lib目录下, 并将旧版本的Hive的Jline包从$HADOOP_HOME/etc/hadoop/yarn/lib目录下删除

    二、安装Mysql5.7

    1、下载mysql资源安装包

    输入命令:

    wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm

    2、安装mysql源

    输入命令:

    yum localinstall mysql57-community-release-el7-8.noarch.rpm

    检查mysql源是否安装成功,输入命令:

    yum repolist enabled | grep "mysql.*-community.*"

    出现上图内容,表示安装成功。

    3、安装Mysql-server

            mysql源安装成功后,会有一个配置文件,里面可以设置默认下载的Mysql-server版本,这里是安装Mysql5.7.如果想要安装其他版本的Mysql-server,可以输入命令:

    vim /etc/yum.repos.d/mysql-community.repo

    比如要安装5.6版本,将5.7源的enabled=1改成enabled=0。然后再将5.6源的enabled=0改成enabled=1即可。

    输入命令,安装Mysql-server:

    yum install mysql-community-server

    4、启动Mysql服务

    输入命令:

    systemctl start mysqld

    查看mysql状态:

    systemctl status mysqld

    5、设置开机自启

    输入命令:

    systemctl enable mysqld
    systemctl daemon-reload

    6、修改root本地登录密码

    输入命令:

    mysql -uroot -p

    对于mysql5.6,直接摁enter。

    对于mysql5.7,则在mysql -uroot -p命令之前要查看系统给的默认密码多少,输入命令:

    grep 'temporary password' /var/log/mysqld.log

    mysql安装完成之后,在/var/log/mysqld.log文件中给root生成了一个默认密码。

    获取默认密码后,使用默认密码登录,接着就是修改密码,这是mysql要求修改的。mysql5.7的默认密码策略检测要求包含:大小写字母、数字和特殊符号,并且长度不能少于8位。否则会提示ERROR 1819 (HY000): Your password does not satisfy the current policy requirements错误。所以,第一次修改密码时,先按这个要求设置,输入修改密码命令:

    set password for 'root'@'localhost'=password('MyNewPass4!'); 

    为了平时能够方便使用,可以修改密码检测策略,然后将密码修改为简单点,如111111,

    修改密码策略,输入命令:

    vim /est/my.cnf

    添加语句:

    validate_password_policy=0

    validate_password_policy默认值是MEDIUM,这个参数有三个值,分别是:

    0(LOW),1(MEDIUM),2(STRONG)

    另外,如果不需要密码策略,可以在文件中添加:

    validate_password = off

    重新启动MySQL服务,输入命令:

    systemctl restart mysqld

    7、设置远程登录用户

    进入mysql服务里面,进行一波操作:

    show databases;
    use mysql;
    update user set host='%' where user='root' and host='localhost';
    delete from user where user<>'root';
    flush privileges;

    8、配置默认编码utf8

    vim /etc/my.cnf

    添加语句:

    character_set_server=utf8
    init_connect='SET NAMES utf8'

    三、安装Mysql连接器

            一开始也有写到,本篇是介绍安装mysql5.7的,为什么不建议安装mysql5.6呢?因为mysql5.7与之对应的connector版本为5.1.4x,而mysql5.6对应的connector版本则是5.1.3x,去到官网:http://mirrors.ustc.edu.cn/mysql-ftp/Downloads/Connector-J/,已经没有5.1.3x版本的connector了。

    1、下载安装包、解压

    wget http://mirrors.ustc.edu.cn/mysql-ftp/Downloads/Connector-J/mysql-connector-java-5.1.47.tar.gz
    tar zxvf mysql-connector-java-5.1.45.tar.gz

    复制库文件:

    cp mysql-connector-java-5.1.47/mysql-connector-java-5.1.47-bin.jar /usr/local/src/apache-hive-1.2.2-bin/lib

    7、拷贝安装包

    #master

    scp -r /usr/local/src/apache-hive-1.2.2-bin root@slave1:/usr/local/src/apache-hive-1.2.2-bin
    scp -r /usr/local/src/apache-hive-1.2.2-bin root@slave2:/usr/local/src/apache-hive-1.2.2-bin

    8、启动Hive服务

    #master

    输入命令:

    hive

    最后附上关于启动hive时可能会遇到的坑的解决方法:https://www.jianshu.com/p/d9cb284f842d

  • 相关阅读:
    POJ 1887 Testing the CATCHER
    HDU 3374 String Problem
    HDU 2609 How many
    POJ 1509 Glass Beads
    POJ 1458 Common Subsequence
    POJ 1159 Palindrome
    POJ 1056 IMMEDIATE DECODABILITY
    POJ 3080 Blue Jeans
    POJ 1200 Crazy Search
    软件体系结构的艺术阅读笔记1
  • 原文地址:https://www.cnblogs.com/SysoCjs/p/10835954.html
Copyright © 2011-2022 走看看