zoukankan      html  css  js  c++  java
  • hive 配置文件以及join中null值的处理

    一、Hive的參数设置

    1.  三种设定方式:配置文件

    ·   用户自己定义配置文件:$HIVE_CONF_DIR/hive-site.xml

    ·   默认配置文件:$HIVE_CONF_DIR/hive-default.xml

    用户自己定义配置会覆盖默认配置。

    另外,Hive也会读入Hadoop的配置,由于Hive是作为Hadoop的client启动的,Hadoop的配置文件包含

    ·   $HADOOP_CONF_DIR/hive-site.xml

    ·   $HADOOP_CONF_DIR/hive-default.xml

    Hive的配置会覆盖Hadoop的配置。

    配置文件的设定对本机启动的全部Hive进程都有效。

    2.  命令行參数 ,

    bin/hive -hiveconf hive.root.logger=INFO,console

    这一设定对本次启动的Session(对于Server方式启动。则是全部请求的Sessions)有效。

    3.  參数声明

    set mapred.reduce.tasks=100;

    这一设定的作用域也是Session级的

    二、使用hive一些注意的地方

    1.  Hive使用的字符集默认是UTF-8。hive中没有转换字符编码的这样的函数

    hive.exec.compress.output 这个參数, 默认是 false。

    可是非常多时候貌似要单独显式设置一遍。否则会对结果做压缩的,假设你的这个文件后面还要在hadoop下直接操作, 那么就不能压缩了

    2.  Join中处理null值的语义差别

    这里的特殊逻辑指的是,Hive的Join中,作为Joinkey的字段比較。null=null是有意义的。且返回值为true。检查下面查询:

    select u.uid, count(u.uid)

    from t_weblog l join t_user u on (l.uid = u.uid) groupby u.uid;

    查询中,t_weblog表中uid为空的记录将和t_user表中uid为空的记录做连接。即l.uid = u.uid=null成立。

    假设须要与标准一致的语义。我们须要改写查询手动过滤null值的情况:

    select u.uid, count(u.uid)

    from t_weblog l join t_user u

    on (l.uid = u.uid and l.uid is not null and u.uid is notnull)

    group by u.uid;

    实践中,这一语义差别也是常常导致数据倾斜的原因之中的一个。

  • 相关阅读:
    java程序员从ThinkPad到Mac的使用习惯改变
    关于mybatis缓存配置详解
    log4j每天,每小时产生一日志文件
    $_SERVER常用
    curl抓取页面时遇到重定向的解决方法
    十三)CodeIgniter源码分析之Loader.php
    十二)CodeIgniter源码分析之Model.php
    十一)CodeIgniter源码分析之Controller.php
    十)CodeIgniter源码分析之Output.php
    九)CodeIgniter源码分析之Hook.php
  • 原文地址:https://www.cnblogs.com/yxwkf/p/5323589.html
Copyright © 2011-2022 走看看