zoukankan      html  css  js  c++  java
  • Hive常用的属性配置及调优参数概述

                  Hive常用的属性配置及调优参数概述

                                  作者:尹正杰

    版权声明:原创作品,谢绝转载!否则将追究法律责任。

    一.hive常见配置属性

    1>.配置数据仓库位置

     <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
        <description>指定默认数据仓库存储在HDFS上的存储路径,通常我们使用默认值即可,当然你也可以进行自定义路径哟~</description>
      </property>

    2>.显示表头信息

      <property>
        <name>hive.cli.print.header</name>
        <value>true</value>
        <description>
        当打印一张表时,是否显示表字段名称,默认值为false。通常情况下,在字段比较多时,我们可以将其值设置为true。
        但有的开发很反感这样设置,在生产环境中,我将该值设置为true时,开发那边反馈会影响到它们代码的逻辑,只有隐藏表头字段信息程序才能正常运行,这找谁说理去,于是我又调回了默认值。
      </description>
      </property>

    3>.显示当前数据库

      <property>
        <name>hive.cli.print.current.db</name>
        <value>true</value>
        <description>
        当进入到hive交互式字符界面时,是否显示当前所在的数据库,默认值组织为false,即不显示当前所在的数据库。
        生产环境中,我建议大家将该值设置为true。虽然说大数据运维人员很少操作hive数据仓库,基本上都是开发那边在操作,但将该值设置为true时,可以提醒操作者操作的是哪个数据仓库。
      </description>
      </property>

    4>.修改hive的日志运行级别

    [root@hadoop105.yinzhengjie.com ~]# grep "property.hive.log.dir" ${HIVE_HOME}/conf/hive-log4j2.properties
    property.hive.log.dir = ${sys:java.io.tmpdir}/${sys:user.name}
    [root@hadoop105.yinzhengjie.com ~]# 
    [root@hadoop105.yinzhengjie.com ~]# vim ${HIVE_HOME}/conf/hive-log4j2.properties
    [root@hadoop105.yinzhengjie.com ~]# 
    [root@hadoop105.yinzhengjie.com ~]# grep "property.hive.log.dir" ${HIVE_HOME}/conf/hive-log4j2.properties
    # property.hive.log.dir = ${sys:java.io.tmpdir}/${sys:user.name}
    property.hive.log.dir = /yinzhengjie/softwares/hive/logs
    [root@hadoop105.yinzhengjie.com ~]# 
    [root@hadoop105.yinzhengjie.com ~]# grep "^property.hive.log.dir" ${HIVE_HOME}/conf/hive-log4j2.properties
    property.hive.log.dir = /yinzhengjie/softwares/hive/logs
    [root@hadoop105.yinzhengjie.com ~]# 

    5>.参数配置方式

      在之前的笔记中我分享了使用在hive命令行中定义变量名称("-d"选项),详情可参考:https://www.cnblogs.com/yinzhengjie2020/p/13912307.html
    
      本次我们要介绍如何在命令行启动时,设置hive的默认参数配置,如下图所示。
    
      配置hive参数的优先级顺序依次递增,其顺序如下所示:
        (1)在hive的默认配置文件中声明参数,即"/yinzhengjie/softwares/hive/conf/hive-default.xml.template";
        (2)在hive的自定义配置文件中声明参数,即"/yinzhengjie/softwares/hive/conf/hive-site.xml";
        (3)在启动hive时指定配置参数,如下图所示;
        (4)在hive交互式字符终端配置参数,如下图所示。

    .企业级调优

    1>.

    2>.

    3>.

    4>.

    5>. 

  • 相关阅读:
    [模板] 循环数组的最大子段和
    [最短路][几何][牛客] [国庆集训派对1]-L-New Game
    [洛谷] P1866 编号
    1115 Counting Nodes in a BST (30 分)
    1106 Lowest Price in Supply Chain (25 分)
    1094 The Largest Generation (25 分)
    1090 Highest Price in Supply Chain (25 分)
    树的遍历
    1086 Tree Traversals Again (25 分)
    1079 Total Sales of Supply Chain (25 分 树
  • 原文地址:https://www.cnblogs.com/yinzhengjie2020/p/13939518.html
Copyright © 2011-2022 走看看