大数据小项目之电视收视率企业项目09--hive环境搭建

Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。

术语“大数据”是大型数据集，其中包括体积庞大，高速，以及各种由与日俱增的数据的集合。使用传统的数据管理系统，它是难以加工大型数据。因此，Apache软件基金会推出了一款名为Hadoop的解决大数据管理和处理难题的框架。

安装mysql

http://www.centoscn.com/mysql/2016/0315/6844.html

1）安装依赖

yum search libaio  # 检索相关信息

yum install libaio # 安装依赖包

2）检查 MySQL 是否已安装

yum list installed | grep mysql

如果有，就先全部卸载，命令如下：

yum -y remove mysql-libs.x86_64

3)下载 MySQL Yum Repository(yum仓库)

地址为 http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm

执行下载

wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm

如果提示-bash: wget: 未找到命令，请先执行 yum install wget 安装 wget

安装

4）如果没有wget下载对应的安装包

 wget --->yum -y install wget

5）添加 MySQL Yum Repository

添加 MySQL Yum Repository 到你的系统 repository 列表中，执行

yum localinstall mysql-community-release-el7-5.noarch.rpm

6）验证下是否添加成功

yum repolist enabled | grep "mysql.*-community.*"

7）开始yum安装mysql

yum install mysql-community-server

8）开启

systemctl start  mysqld

systemctl status  mysqld 查看状态

9）验证 mysql

10)创建hive需要的数据库

在mysql上创建hive元数据库，并对hive进行授权

create database if not exists hive_metadata;

安装hive

1.上传安装包

    apache-hive-2.1.0-bin

    不同的版本有可能会安装失败，建议使用低版本，并且是稳定版的软件

2.解压

tar -xzvf apache-hive-2.1.0-bin.tar.gz -C /soft/

3.重命名或者创建软连接

ln -s apache-hive-2.1.0-bin hive

4.修改环境变量

sudo nano /etc/profile

export HIVE_HOME=/soft/hive

export PATH=$PATH:$HIVE_HOME/bin

5.环境变量起效果

source /etc/profile

修改配置文件

拷贝驱动mysql-connector-java-5.1.28.jar到 /soft/hive/lib

配置hive-site.xml

mv hive-default.xml.template hive-site.xml

vi hive-site.xml

<property>

  <name>javax.jdo.option.ConnectionURL</name>

  <value>jdbc:mysql://192.168.17.200:3306/hive_metadata?createDatabaseIfNotExist=true</value>

</property>

<property>

  <name>javax.jdo.option.ConnectionDriverName</name>

  <value>com.mysql.jdbc.Driver</value>

</property>

<property>

  <name>javax.jdo.option.ConnectionUserName</name>

  <value>hive</value>

</property>

<property>

  <name>javax.jdo.option.ConnectionPassword</name>

  <value>123456</value>

</property>

<property>

  <name>hive.metastore.warehouse.dir</name>

  <value>/user/hive/warehouse</value>

</property>

配置hive-env.sh和hive-config.sh

mv hive-env.sh.template hive-env.sh

vi /soft/hive/bin/hive-config.sh

export JAVA_HOME=/soft/jdk

export HIVE_HOME=/soft/hive

export HADOOP_HOME=/soft/hadoop

在hive-site.xml

${system:java.io.tmpdir}=/home/wang/hive/wang

${system:user.name}=wang

"system:java.io.tmpdir =/home/centos/hive/resource

创建数据库表到mysql里面

schematool -initSchema -dbType mysql

验证hive是否安装成功

 

直接输入hive命令，可以进入hive命令行

create table t1(id int)

select * from t1;

drop table t1;