zoukankan      html  css  js  c++  java
  • 大数据学习之十六——hive的安装以及表的基本操作

    1.概念了解

    hive是基于hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一个数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

    2.hive的安装

    (1)修改配置文件

    /etc/profile

    并使用scource /etc/profile使配置生效

    在HIVE_HOME目录下,在conf/hive-env.sh中修改配置

    修改hive-site.xml(本来是不存在的,可以复制hive-default.xml,然后重命名为hive-site.xml)

    将<configuration></configuration>中的内容全部删除,换成如下内容:

    注意目录和IP地址的改变!

    在HIVE_HOME下,创建文件local和logs。

    在HIVE_HOME/conf中的配置文件,将hive-exec-log4j.properties.template重命名为:hive-exec-log4j.properties,将hive-log4j.properties.template重命名为:hive-log4j.properties

    并在两个文件中修改内容:

    (2)添加mysql驱动包放在HIVE_HOME/lib目录下

    (3)修改hadoop的库文件
    在$HADOOP_HOME/share/hadoop/yarn/lib下备份jline-0.9.94.jar
    执行命令
    $mv jline-0.9.94.jar jline-0.9.94.jar.bak
    Copy高版本的jline
    $cp $HIVE_HOME/lib/jline-2.12.jar $HADOOP_HOME /share/hadoop/yarn/lib

    (4)验证是否安装成功:$hive

    3.表的基本操作

    (1)创建一个表名为student01的内部表

    • create  table 创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常;用户可以用 if  not   exists 选项来忽略这个异常

    • external 关键字可以让用户创建一个外部表,在建表的同时指定一个指向实际数据的路径(location),如果文件数据是纯文本,可以使用 stored  as  textfile ,如果数据需要压缩,使用 stored  as  sequence 。

    (2)创建一个表名为student2的外部表

    (3)展示表的元素

    (4)向表中添加元素

    (5)表名的更改

    (6)表的删除

  • 相关阅读:
    苹果一体机发射Wi-Fi
    iphone 屏蔽系统自动更新,消除设置上的小红点
    data parameter is nil 异常处理
    copy与mutableCopy的区别总结
    java axis2 webservice
    mysql 远程 ip访问
    mysql 存储过程小问题
    mysql游标错误
    is not writable or has an invalid setter method错误的解决
    Struts2中关于"There is no Action mapped for namespace / and action name"的总结
  • 原文地址:https://www.cnblogs.com/m-study/p/8406805.html
Copyright © 2011-2022 走看看