Hive安装配置
Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行,使查询和分析方便。
下载源文件
已安装的hadoop版本:2.7.3, Hadoop安装见随笔 CentOS7上安装伪分布式Hadoop
Hive下载地址:http://mirror.bit.edu.cn/apache/hive/hive-2.3.5/
Hive版本:2.3.5
解压安装
1.使用MobaXterm软件SSH连接到CentOS7环境,将下载好的Hive源文件发送到OS中,OS中的目标路径为:/usr/soft/
2.使用解压命令,解压hive包
tar -zxvf /usr/soft/apache-hive-2.3.5-bin.tar.gz
3.下载mysql-connector-java-5.1.38.jar包,然后发送到OS中的hive的lib目录下
jar包下载地址:https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.38
OS中的目标路径为:/usr/soft/apache-hive-2.3.5-bin/lib/
更改配置文件
cd /usr/soft/apache-hive-2.3.5-bin/conf/
cp hive-default.xml.template hive-site.xml
vi hive-site.xml
仅保留文件头和根元素标签,删除除此以外的所有内容,然后在configuration标签中添加新内容如下:
<property>
<name>datanucleus.schema.autoCreateAll</name>
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.10.108:3306/hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>rw</value>
</property>
property标签的内容意义如下:
Config Param | Config Value | Comment |
---|---|---|
javax.jdo.option.ConnectionURL | jdbc:mysql://<host name>/<database name>?createDatabaseIfNotExist=true |
metadata is stored in a MySQL server |
javax.jdo.option.ConnectionDriverName | com.mysql.jdbc.Driver |
MySQL JDBC driver class |
javax.jdo.option.ConnectionUserName | <user name> |
user name for connecting to MySQL server |
javax.jdo.option.ConnectionPassword | <password> |
password for connecting to MySQL server |
datanucleus.schema.autoCreateAll | true/false |
is auto generate setting table |
配置环境变量
#vi编辑器,按i进入编辑模式,按ESC退出编辑模式,按ALT+SHIFT+Q再输入x,最后回
#车保存并退出编辑器
vi /etc/profile
#追加以下内容
export HIVE_HOME=/usr/soft/apache-hive-2.3.5-bin
export PATH=$PATH:$HIVE_HOME/bin
#更新源
source /etc/profile
启动hadoop
cd /usr/soft/hadoop/bin
start-all.sh
启动后输入jsp,确保NodeSeNodeDataManager四大节点成功启动
初始化Hive
schematool -dbType mysql -initSchema
启动Hive
hive