zoukankan      html  css  js  c++  java
  • 彻底理解Hive中的锁

    前面遇到过一次因为Hive中表被锁住了,导致定时任务一直失败。这两天又出现了表被锁,原因是连接hiveserver2过于频繁,mysql连接被打满,引发的连锁反应,导致我们的小时任务一直失败,下午重点注意到这个问题,才解决好。

    Hive中的锁

    在执行insert intoinsert overwrite任务时,中途手动将程序停掉,会出现卡死情况(无法提交MapReduce),只能执行查询操作,而drop insert操作均不可操作,无论执行多久,都会保持卡死状态。

    查看Hive的中死锁,可以使用show locks [table]来查看。

    clipboard

    可以看到里面的那个Type下的EXCLUSIVE,这是一种互斥锁,需要解决,否则后续的查询和插入任务都会影响。

    hive存在两种锁,共享锁Shared (S)和互斥锁Exclusive (X)

    S X
    S
    X

    锁的基本机制是:

    • 元信息和数据的变更需要互斥锁

    • 数据的读取需要共享锁

    触发共享锁的操作是可以并发执行的,但是触发互斥锁,那么该表和该分区就不能并发的执行作业了。

    微信截图_20201207211428

    对于上面的情况,使用解锁命令:

    unlock table tableName
    

    注意:表锁和分区锁是两个不同的锁,对表解锁,对分区是无效的,分区需要单独解锁

    解锁方法

    查看表被锁的情况:

    show locks tableName
    

    常规解锁方法:

    unlock table 表名;  -- 解锁表
    unlock table 表名 partition(dt='2014-04-01');  -- 解锁某个分区
    

    高版本hive默认插入数据时,不能查询,因为有锁

    可能出现的问题

    解锁之路通常不是一帆风顺的,可能会遇到各种问题,笔者是在Hive2.1.1下面测试,比如:

    clipboard3

    这个命令无法执行,说LockManager没有指定,这时候需要执行命令:

    set hive.support.concurrency=true;
    set hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DummyTxnManager;
    

    这样重新执行,命令就可以执行了

    如果还!是!不!行,终极方法,可以直接去mysql元数据执行:

    select * from HIVE_LOCKS;
    

    查到所有的锁,然后根据条件把对应的锁删掉,这个锁住的表即可释放出来了。

    delete from HIVE_LOCKS where HL_DB = 'cdn' and HL_TABLE = 'cdn_log_format';
    

    注意:表名和字段都需要大写。

    通过这种办法,通常可以彻底解决锁的问题。

  • 相关阅读:
    解决多版本sdk兼容问题
    ios5 UIKit新特性
    iPhone网络编程–一起来做网站客户端(一)
    八数码
    IOS开发中编码转换
    修复ipa图片png方法
    创建易读链接 搭建应用通往App Store的桥梁
    如何让IOS应用从容地崩溃
    详解IOS IAP
    jquery创建并行对象或者叫合并对象
  • 原文地址:https://www.cnblogs.com/data-magnifier/p/14170173.html
Copyright © 2011-2022 走看看