Hadoop安装之Hive集成与mysql安装

1、官网下载Hive组件，拷贝至虚拟机，

　　地址： https://pan.baidu.com/s/1_ijjPTJdKfsA3JbbqYNN3Q   5fwu

　　tar -zxvf apache-hive-2.3.3-bin.tar.gz 解压命令

2、配置环境变量，　　vi .bash_profile 

　　　　export HIVE_HOME=/home/wdd/apache-hive-2.3.3-bin
　　　　export PATH=$HIVE_HOME/bin:$PATH

　　source  .bash_profile  生效

3、修改配置文件，$HIVE_HOME/conf/下

　　执行文件拷贝命令

　　　　cp hive-env.sh.template hive-env.sh

　　　　cp hive-default.xml.template hive-site.xml

　　　　cp hive-log4j2.properties.template hive-log4j2.properties

　　　　cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

　　1）编辑 hive-env.sh，增加如下

　　　　export JAVA_HOME=/home/wdd/jre1.8.0_162

　　　　export HADOOP_HOME=/home/wdd/hadoop-2.9.0
　　　　export HIVE_HOME=/home/wdd/apache-hive-2.3.3-bin
　　　　export HIVE_CONF_DIR=/home/wdd/apache-hive-2.3.3-bin/conf

　　     在hsdf 中创建目录如下：

　　　　

　　2） 修改hive-site.xml文件

　　　　<property>

　　　　　　<name>hive.exec.scratchdir</name>

　　　　　　<value>/data/hadoop/hive/tmp</value>

　　　　</property>

　　　　<property>

　　　　　　<name>hive.metastore.warehouse.dir</name>

　　　　　　 <value>/data/hadoop/warehouse</value>

　　　　</property>

　　　　<property>

　　　　　　<name>hive.querylog.location</name>

　　　　　　 <value>/data/hadoop//hive/log</value>

　　　　</property>

　　　　

　　4） 修改临时目录，tmp，，mkdir /home/wdd/hive/tmp -p

　　　　在配置文件 hive-site.xml 里面

　　　　把{system:java.io.tmpdir} 改成 /home/hadoop/hive-2.1.1/tmp/

　　　　把 {system:user.name} 改成 {user.name}

4、配置驱动包，下载驱动包，

　　　　下载地址：https://www.mysql.com/products/connector/

　　　　下载完成后把mysql-connector-java-5.1.30-bin.jar 然后放入 $HIVE_HOME/lib 目录下

5、初始化Hive

　　　　schematool -dbType mysql -initSchema 

　　　　1） 报错如下：　　　　　　

　　　　　　org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver

　　　　　　原因：驱动包放错位置了，

　　　　2）再次初始化报错如下：

　　　　　　

　　　　　　解决办法：说是增加一个用户即可，执行如下命令：

　　　　　　　　

　　　　　　如上报错，需要执行如下命令：

　　　　　　　　　

 　　　　然后在执行 schematool -dbType mysql -initSchema，正常通过，如下：

　　　　

安装Mysql

1、安装环境

　　centos7，

　　下载地址：https://dev.mysql.com/downloads/

　　拷贝至虚拟机，只需要安装如下四个文件，用rpm命令

　　使用root用户安装，

　　　　#rpm -ivh mysql-community-common-5.7.13-1.el6.x86_64.rpm

　　　　#rpm -ivh mysql-community-libs-5.7.13-1.el6.x86_64.rpm

　　　　#rpm -ivh mysql-community-client-5.7.13-1.el6.x86_64.rpm

　　　　#rpm -ivh mysql-community-server-5.7.13-1.el6.x86_64.rpm

2、对于Centos7安装mysql 5.7需要检查是否安装mariadb-lib，如果有，必须卸载

　　检查命令 ： rpm -qa | grep mariadb-lib

　　卸载命令： rpm -i mariadb-lib --nodeps

3、安装顺序

　　1） rpm -ivh mysql-community-common-5.7.13-1.el6.x86_64.rpm

　　2） rpm -ivh mysql-community-libs-5.7.13-1.el6.x86_64.rpm

　　3） rpm -ivh mysql-community-client-5.7.13-1.el6.x86_64.rpm

　　4） rpm -ivh mysql-community-server-5.7.13-1.el6.x86_64.rpm

4、安装完成后，需要进行初始化，

　　mysqld --initialize --user=mysql

　　启动服务，service mysqld start

5、登陆用户

　　mysql -u root -p

　　所需要密码在/var/log/mysqld.log中查找，或者没有密码

6、mysql root密码重置方法

　　修改/etc/my.cnf 文件，在如下位置增加红色框框中的话，

　　

　　重启MySQL服务 service mysqld restart，执行如下命令

　　1） mysql

　　2） use mysql

　　3） update mysql.user set authentication_string=password('root') where user='root' ;

　　修改/etc/my.cnf为原样子