zoukankan      html  css  js  c++  java
  • hive Cli常用操作(翻译自Hive wiki)

    这里罗列常用操作,更多参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Cli

    hive命令行

    执行一个查询

    $HIVE_HOME/bin/hive -e 'select a.col from tab1 a'

    之后过程中,会在终端上显示mapreduce的进度,执行完毕后,最后把查询结果输出到终端上,接着hive进程退出,不会进入交互模式。

     

    使用静音模式执行一个查询

    $HIVE_HOME/bin/hive -S -e 'select a.col from tab1 a'

    加入-S,终端上的输出不会有mapreduce的进度,执行完毕,只会把查询结果输出到终端上。这个静音模式很实用,,通过第三方程序调用,第三方程序通过hive的标准输出获取结果集。

     

    使用静音模式执行一个查询,把结果集导出

    $HIVE_HOME/bin/hive -S -e 'select a.col from tab1 a' > tab1.csv

     

    不进入交互模式,执行一个hive script

    $HIVE_HOME/bin/hive -f /home/my/hive-script.sql

    hive-script.sql是使用hive sql语法编写的脚本文件,执行的过程和-e类似,区别是从文件加载sql.

    但是sql文件,对于bash来说,不能使用变量,而使用-e的方式,可以在bash里使用变量(但是对于sql文件的形式,可以利用程序基于变量动态生成sql文件,再执行,稍微麻烦点)。

    这里可以和静音模式-S联合使用,通过第三方程序调用,第三方程序通过hive的标准输出获取结果集。

     

    hive交互式模式

    $HIVE_HOME/bin/hive执行时,没有-e或者-f选项,会进入交互式shell模式。

    命令 描述
    quit 
    exit
    退出交互式shell
    reset 重置配置为默认值
    set <key>=<value> 修改特定变量的值
    注意: 如果变量名拼写错误,不会报错
    set 输出用户覆盖的hive配置变量
    set -v 输出所有Hadoop和Hive的配置变量
    add FILE[S] <filepath> <filepath>* 
    add JAR[S] <filepath> <filepath>* 
    add ARCHIVE[S] <filepath> <filepath>*
    添加 一个或多个 file, jar,  archives到分布式缓存
    list FILE[S] 
    list JAR[S] 
    list ARCHIVE[S]
    输出已经添加到分布式缓存的资源。
    list FILE[S] <filepath>* 
    list JAR[S] <filepath>* 
    list ARCHIVE[S] <filepath>*
    检查给定的资源是否添加到分布式缓存
    delete FILE[S] <filepath>* 
    delete JAR[S] <filepath>* 
    delete ARCHIVE[S] <filepath>*
    从分布式缓存删除指定的资源
    ! <command> 从Hive shell执行一个shell命令
    dfs <dfs command> 从Hive shell执行一个dfs命令
    <query string> 执行一个Hive 查询,然后输出结果到标准输出
    source FILE <filepath> 在CLI里执行一个hive脚本文件

     

     

     

     

     

     

     

     

     

     

     

     

     

     




    例子

     hive> set mapred.reduce.tasks=32;
      hive> set;
      hive> select a.* from tab1;
      hive> !ls;
      hive> dfs -ls;


  • 相关阅读:
    os 模块删除图片操作
    python base64基本使用
    django 跨域
    git 回滚
    多线程
    原生sql子查询 和psql 子查询
    Python 3.x 中"HTTP Error 403: Forbidden"问题的解决方案
    报错(AttributeError: 'str' object has no attribute 'items')的解决办法
    C++虚函数
    C++泛型程序设计和多态
  • 原文地址:https://www.cnblogs.com/java20130722/p/3206980.html
Copyright © 2011-2022 走看看