zoukankan      html  css  js  c++  java
  • hive cli 启动缓慢问题

    hive-0.13.1启动缓慢的原因

    发现时间主要消耗在以下3个地方:

    1. hadoopjar的时候要把相关的jar包上传到hdfs中(这里大概消耗5s,hive0.11一样,这个地方不太好优化)

    2. 在每次hive cli启动的时候,初始化HiveMetaStore时,在init时,会调用以下3个方法,创建default db,role ,admin。

    详细代码:

    synchronized(HMSHandler.class) {

      createDefaultDB();

      createDefaultRoles();

      addAdminUsers();

    }synchronized(HMSHandler.class) {

      createDefaultDB();

      createDefaultRoles();

      addAdminUsers();

    }

    生成环境这些都是有的,不须要每次都创建。这里能够直接凝视掉.

    3. 还有5s是在载入.hiverc的文件时造成的。

    在做Create function的analyze时。会通过FunctionSemanticAnalyzer类的addEntities方法操作元数据。在hive0.11中是没有这种方法的。

    关于这种方法。看说明是和function的权限有关系的,我们眼下不须要。

    Add writeentities to the semantic analyzer to restrict function creation to priviligedusers.

    在測试环境直接凝视掉没有发现什么影响。

    详细实现放在后面分析。

    解决方式:

    14/09/0116:06:12 INFO Configuration.deprecation: mapred.reduce.tasks is deprecated.Instead, use mapreduce.job.reduces

    14/09/0116:06:12 INFO Configuration.deprecation: mapred.min.split.size is deprecated.Instead, use mapreduce.input.fileinputformat.split.minsize

    14/09/0116:06:12 INFO Configuration.deprecation:mapred.reduce.tasks.speculative.execution is deprecated. Instead, usemapreduce.reduce.speculative

    14/09/0116:06:12 INFO Configuration.deprecation: mapred.min.split.size.per.node isdeprecated. Instead, use mapreduce.input.fileinputformat.split.minsize.per.node

    14/09/0116:06:12 INFO Configuration.deprecation: mapred.input.dir.recursive isdeprecated. Instead, use mapreduce.input.fileinputformat.input.dir.recursive

    14/09/0116:06:12 INFO Configuration.deprecation: mapred.min.split.size.per.rack isdeprecated. Instead, use mapreduce.input.fileinputformat.split.minsize.per.rack

    14/09/0116:06:12 INFO Configuration.deprecation: mapred.max.split.size is deprecated.Instead, use mapreduce.input.fileinputformat.split.maxsize

    14/09/0116:06:12 INFO Configuration.deprecation:mapred.committer.job.setup.cleanup.needed is deprecated. Instead, usemapreduce.job.committer.setup.cleanup.needed

    Logginginitialized using configuration infile:/usr/local/hive-0.13.0/conf/hive-log4j.properties

    hive>

    上面的一些启动信息就是:

    Mysql的初始化信息,

    须要设置mysql服务自己主动启动

  • 相关阅读:
    vue element 关于表单数组循环、对象数据校验
    vue 解耦双向数据绑定,new Set() 去重数组/对象
    Vue-cli3.0搭建和一些坑
    微信小程序入门学习小结--全局设置、数据请求、双向绑定、页面路由跳转、模板抽取
    Vuex简单入门实例
    关于wamp的HTML, PHP, mysql 三者的操作与联系
    关于wamp的HTML, PHP, mysql 三者的操作与联系
    浏览器知识小整理
    HTML DOM textContent 与 innerHTML的区别
    T-SQL查询进阶--SQL Server中的事务与锁
  • 原文地址:https://www.cnblogs.com/lytwajue/p/6873345.html
Copyright © 2011-2022 走看看