zoukankan      html  css  js  c++  java
  • CentOS7搭建Hive1.2.2+mysql5.7

    (关于搭建Hadoop环境,可参考:https://www.cnblogs.com/SysoCjs/p/10835793.html)

    说明:

    #master,表示在master节点上操作;

    #master,#slave1,#slave2,表示在三个节点上都要操作;

    一、安装Hive1.2.2

    1、源码包下载

    #master

    http://mirror.bit.edu.cn/apache/hive/

    可以直接到官网点击下载到本地,然后cp到CentoOS7上;或者使用命令下载:

    wget http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz

    解压压缩包:

    tar zxvf apache-hive-1.2.2-bin.tar.gz

    2. 修改Hive配置文件

    #Master

    cd apache-hive-1.2.2-bin/conf

    在/conf文件夹下面,默认是没有hive-site.xml文件,所以要创建一个,然后进入修改内容:

    touch hive-site.xml
     
    vim hive-site.xml

    添加内容:

    <?xml version="1.0" encoding="UTF-8" standalone="no" ?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl" ?>
    <configuration>
            <property>
                    <name>javax.jdo.option.ConnectionURL</name>
                    <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
            </property>
            <property>
                    <name>javax.jdo.option.COnnectionDriverName</name>
                    <value>com.mysql.jdbc.Driver</value>
            </property>
            <property>
                    <name>javax.jdo.option.ConnectionUserName</name>
                    <value>root</value>
            </property>
            <property>
                    <name>javax.jdo.option.ConnectionPassword</name>
                    <value>123456</value>
            </property>
    </configuration>

    3、配置环境变量:

    #Master、Slave1、Slave2

    输入命令:

    vim ~/.bashrc

    追加语句:

    export HIVE_HOME=/usr/local/src/apache-hive-1.2.2-bin
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin

    文件添加了一个HIVE_HOME变量,以及在原先PATH上追加了“:$HIVE_HOME/bin”。

    #刷新资源文件,输入命令:

    source ~/bashrc

    值得注意一点:hadoop原装有个jlines的jar包,版本是0.9.0x,但是hive需要用到2.x的版本,所以:

    将当前hive版本的$HIVE_HOME/lib目录下的jline-2.12.jar包拷贝到$HADOOP_HOME/share/hadoop/yarn/lib目录下, 并将旧版本的Hive的Jline包从$HADOOP_HOME/etc/hadoop/yarn/lib目录下删除

    二、安装Mysql5.7

    1、下载mysql资源安装包

    输入命令:

    wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm

    2、安装mysql源

    输入命令:

    yum localinstall mysql57-community-release-el7-8.noarch.rpm

    检查mysql源是否安装成功,输入命令:

    yum repolist enabled | grep "mysql.*-community.*"

    出现上图内容,表示安装成功。

    3、安装Mysql-server

            mysql源安装成功后,会有一个配置文件,里面可以设置默认下载的Mysql-server版本,这里是安装Mysql5.7.如果想要安装其他版本的Mysql-server,可以输入命令:

    vim /etc/yum.repos.d/mysql-community.repo

    比如要安装5.6版本,将5.7源的enabled=1改成enabled=0。然后再将5.6源的enabled=0改成enabled=1即可。

    输入命令,安装Mysql-server:

    yum install mysql-community-server

    4、启动Mysql服务

    输入命令:

    systemctl start mysqld

    查看mysql状态:

    systemctl status mysqld

    5、设置开机自启

    输入命令:

    systemctl enable mysqld
    systemctl daemon-reload

    6、修改root本地登录密码

    输入命令:

    mysql -uroot -p

    对于mysql5.6,直接摁enter。

    对于mysql5.7,则在mysql -uroot -p命令之前要查看系统给的默认密码多少,输入命令:

    grep 'temporary password' /var/log/mysqld.log

    mysql安装完成之后,在/var/log/mysqld.log文件中给root生成了一个默认密码。

    获取默认密码后,使用默认密码登录,接着就是修改密码,这是mysql要求修改的。mysql5.7的默认密码策略检测要求包含:大小写字母、数字和特殊符号,并且长度不能少于8位。否则会提示ERROR 1819 (HY000): Your password does not satisfy the current policy requirements错误。所以,第一次修改密码时,先按这个要求设置,输入修改密码命令:

    set password for 'root'@'localhost'=password('MyNewPass4!'); 

    为了平时能够方便使用,可以修改密码检测策略,然后将密码修改为简单点,如111111,

    修改密码策略,输入命令:

    vim /est/my.cnf

    添加语句:

    validate_password_policy=0

    validate_password_policy默认值是MEDIUM,这个参数有三个值,分别是:

    0(LOW),1(MEDIUM),2(STRONG)

    另外,如果不需要密码策略,可以在文件中添加:

    validate_password = off

    重新启动MySQL服务,输入命令:

    systemctl restart mysqld

    7、设置远程登录用户

    进入mysql服务里面,进行一波操作:

    show databases;
    use mysql;
    update user set host='%' where user='root' and host='localhost';
    delete from user where user<>'root';
    flush privileges;

    8、配置默认编码utf8

    vim /etc/my.cnf

    添加语句:

    character_set_server=utf8
    init_connect='SET NAMES utf8'

    三、安装Mysql连接器

            一开始也有写到,本篇是介绍安装mysql5.7的,为什么不建议安装mysql5.6呢?因为mysql5.7与之对应的connector版本为5.1.4x,而mysql5.6对应的connector版本则是5.1.3x,去到官网:http://mirrors.ustc.edu.cn/mysql-ftp/Downloads/Connector-J/,已经没有5.1.3x版本的connector了。

    1、下载安装包、解压

    wget http://mirrors.ustc.edu.cn/mysql-ftp/Downloads/Connector-J/mysql-connector-java-5.1.47.tar.gz
    tar zxvf mysql-connector-java-5.1.45.tar.gz

    复制库文件:

    cp mysql-connector-java-5.1.47/mysql-connector-java-5.1.47-bin.jar /usr/local/src/apache-hive-1.2.2-bin/lib

    7、拷贝安装包

    #master

    scp -r /usr/local/src/apache-hive-1.2.2-bin root@slave1:/usr/local/src/apache-hive-1.2.2-bin
    scp -r /usr/local/src/apache-hive-1.2.2-bin root@slave2:/usr/local/src/apache-hive-1.2.2-bin

    8、启动Hive服务

    #master

    输入命令:

    hive

    最后附上关于启动hive时可能会遇到的坑的解决方法:https://www.jianshu.com/p/d9cb284f842d

  • 相关阅读:
    PHP+MYSQL不错的环境架设软件
    ASV2011(Action Script Viewer)免费升级
    Win2003证书服务配置/客户端(服务端)证书申请/IIS站点SSL设置
    Entity FrameWork 4 PoCo使用
    使用Forms Authentication实现用户注册、登录
    验证数字的正则表达式集
    web.config/app.config敏感数据加/解密的二种方法
    如何创建一个标准的Windows服务
    抛弃WebService 在.NET4中用jQuery调用WCF
    EF 中调用带输出参数的存储过程
  • 原文地址:https://www.cnblogs.com/SysoCjs/p/10835954.html
Copyright © 2011-2022 走看看