hadoop hive

1.Hive底层执行引擎支持: MR/Tez/Spark

2.统一元数据管理:

Hive数据是存放在HDFS
元数据信息(记录数据的数据)是存放在MySQL中
SQL on Hadoop: Hive、Spark SQL、impala....

3.Hive体系架构

client: shell、thrift/jdbc(server/jdbc)、WebUI(HUE/Zeppelin)
metastore: ==> MySQL
    database: name、location、owner....
    table: name、location、owner、column name/type ....

4.Hive部署

https://archive.cloudera.com/cdh5/cdh/5/   # 下载地址
hive-1.1.0-cdh5.16.2.tar.gz  # 下载个hadoop版本一样在hive版本
mkdir -p /usr/local/hive
cd /usr/local/hive
wget https://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.16.2.tar.gz   # 下载
tar -zxvf hive-1.1.0-cdh5.16.2.tar.gz  # 解压
vim /etc/profile
export HIVE_HOME=/usr/local/hive/hive-1.1.0-cdh5.16.2   # hive
export PATH=$HIVE_HOME/bin:$PATH   # hive

source /etc/profile

/usr/local/hive/hive-1.1.0-cdh5.16.2/conf  # 修改配置文件
cp hive-env.sh.template hive-env.sh
vim hive-env.sh
HADOOP_HOME=/usr/local/hadoop2.6/hadoop-2.6.0-cdh5.16.2   # 修改hadoop home路径
scp mysql-connector-java-5.1.48.jar root@192.168.107.216:/usr/local/hive/hive-1.1.0-cdh5.16.2/lib   # 数据库启动拷贝到这个目录下



vim hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://10.133.3.10:3306/hadoop_hive?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=utf8&useSSL=false</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>root</value>
</property>
</configuration>


cd /usr/local/hive/hive-1.1.0-cdh5.16.2/bin   # 进入启动hive目录
hive   # 直接启动hive  启动成功会自动创建前面我们设置的数据库  hadoop_hive