zoukankan      html  css  js  c++  java
  • 分布锁的问题?

    分布锁的问题

    什么是分布式锁?

    线程锁:主要用来给方法、代码块加锁。当某个方法或代码使用锁,在同一时刻仅有一个线程执行该方法或该代码段。线程锁只在同一JVM中有效果,因为线程锁的实现在根本上是依靠线程之间共享内存实现的,比如synchronized是共享对象头,显示锁Lock是共享某个变量(state)。

    进程锁:为了控制同一操作系统中多个进程访问某个共享资源,因为进程具有独立性,各个进程无法访问其他进程的资源,因此无法通过synchronized等线程锁实现进程锁。

    分布式锁:当多个进程不在同一个系统中,用分布式锁控制多个进程对资源的访问

    分布式锁的使用场景。

    有这样一个情境,线程A和线程B都共享某个变量X。

    如果是单机情况下(单JVM),线程之间共享内存,只要使用线程锁就可以解决并发问题。

    如果是分布式情况下(多JVM),线程A和线程B很可能不是在同一JVM中,这样线程锁就无法起到作用了,这时候就要用到分布式锁来解决。

    分布式锁应该具备哪些条件

    1、在分布式系统环境下,一个方法在同一时间只能被一个机器的一个线程执行; 
    2、高可用的获取锁与释放锁; 
    3、高性能的获取锁与释放锁; 
    4、具备可重入特性; (可以重复进入,可以被打断)
    5、具备锁失效机制,防止死锁; 
    6、具备非阻塞锁特性,即没有获取到锁将直接返回获取锁失败。

    分布式锁的三种实现方式

    分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性Consistency)、可用性Availability)和分区容错性Partition tolerance),最多只能同时满足两项。”所以,很多系统在设计之初就要对这三者做出取舍。在互联网领域的绝大多数的场景中,都需要牺牲强一致性来换取系统的高可用性,系统往往只需要保证“最终一致性”,只要这个最终时间是在用户可以接受的范围内即可。

    1. 基于数据库实现分布式锁; 
    2. 基于缓存(Redis等)实现分布式锁; 
    3. 基于Zookeeper实现分布式锁;

    1.基于数据库的实现方式

    基于数据库的实现方式的核心思想是:在数据库中创建一个表,表中包含方法名等字段,并在方法名字段上创建唯一索引,想要执行某个方法,就使用这个方法名向表中插入数据,成功插入则获取锁,执行完成后删除对应的行数据释放锁。

    (1)创建一个表:字段 : id ,method_name(唯一约束),desc ,update_time

    (2)想要执行某个方法,就使用这个方法名向表中插入数据:

    INSERT INTO method_lock (method_name, desc) VALUES ('methodName', '测试的methodName');

    因为我们对method_name做了唯一性约束,这里如果有多个请求同时提交到数据库的话,数据库会保证只有一个操作可以成功,那么我们就可以认为操作成功的那个线程获得了该方法的锁,可以执行方法体内容。

    (3)成功插入则获取锁,执行完成后删除对应的行数据释放锁:

    delete from method_lock where method_name ='methodName';

    注意:这只是使用基于数据库的一种方法,使用数据库实现分布式锁还有很多其他的玩法!

    使用基于数据库的这种实现方式很简单,但是对于分布式锁应该具备的条件来说,它有一些问题需要解决及优化:

    1、因为是基于数据库实现的,数据库的可用性和性能将直接影响分布式锁的可用性及性能,所以,数据库需要双机部署、数据同步、主备切换;

    2、不具备可重入的特性,因为同一个线程在释放锁之前,行数据一直存在,无法再次成功插入数据,所以,需要在表中新增一列,用于记录当前获取到锁的机器和线程信息,在再次获取锁的时候,先查询表中机器和线程信息是否和当前机器和线程相同,若相同则直接获取锁;

    3、没有锁失效机制,因为有可能出现成功插入数据后,服务器宕机了,对应的数据没有被删除,当服务恢复后一直获取不到锁,所以,需要在表中新增一列,用于记录失效时间,并且需要有定时任务清除这些失效的数据;

    4、不具备阻塞锁特性,获取不到锁直接返回失败,所以需要优化获取逻辑,循环多次去获取。

    5、在实施的过程中会遇到各种不同的问题,为了解决这些问题,实现方式将会越来越复杂;依赖数据库需要一定的资源开销,性能问题需要考虑。

    2.基于Redis的实现方式

    1、选用Redis实现分布式锁原因:

    1)Redis有很高的性能; 
    2)Redis命令对此支持较好,实现起来比较方便

    使用命令介绍:

    1)SETNX

    SETNX key val:当且仅当key不存在时,set一个keyval的字符串,返回1;若key存在,则什么都不做,返回0

    • 1

    2)expire

    expire key timeout:为key设置一个超时时间,单位为second,超过这个时间锁会自动释放,避免死锁。

    • 1

    3)delete

    delete key:删除key

    在使用Redis实现分布式锁的时候,主要就会使用到这三个命令。

    实现思想:

    1)获取锁的时候,使用setnx加锁,并使用expire命令为锁添加一个超时时间,超过该时间则自动释放锁,锁的value值为一个随机生成的UUID,通过此在释放锁的时候进行判断。

    2)获取锁的时候还设置一个获取的超时时间,若超过这个时间则放弃获取锁。

    3)释放锁的时候,通过UUID判断是不是该锁,若是该锁,则执行delete进行锁释放。

    3.基于ZooKeeper的实现方式

    ZooKeeper是一个为分布式应用提供一致性服务的开源组件,它内部是一个分层的文件系统目录树结构,规定同一个目录下只能有一个唯一文件名。基于ZooKeeper实现分布式锁的步骤如下

    1)创建一个目录mylock; 
    2)线程A想获取锁就在mylock目录下创建临时顺序节点(顺序是从小到大) 
    3)获取mylock目录下所有的子节点,然后获取比自己小的兄弟节点,如果不存在,则说明当前线程顺序号最小,获得锁; 
    4)线程B获取所有节点,判断自己不是最小节点,设置监听比自己小的节点; 
    5)线程A处理完,删除自己的节点,线程B监听到变更事件,判断自己是不是最小的节点,如果是则获得锁。

    这里推荐一个Apache的开源库Curator,它是一个ZooKeeper客户端,Curator提供的InterProcessMutex是分布式锁的实现,acquire方法用于获取锁,release方法用于释放锁。

    优点:具备高可用、可重入、阻塞锁特性,可解决失效死锁问题。

    缺点:因为需要频繁的创建和删除节点,性能上不如Redis方式。

    6、总结

    上面的三种实现方式,没有在所有场合都是完美的,所以,应根据不同的应用场景选择最适合的实现方式。

    在分布式环境中,对资源进行上锁有时候是很重要的,比如抢购某一资源,这时候使用分布式锁就可以很好地控制资源。 
    当然,在具体使用中,还需要考虑很多因素,比如超时时间的选取,获取锁时间的选取对并发量都有很大的影响,上述实现的分布式锁也只是一种简单的实现,主要是一种思想,以上包括文中的代码可能并不适用于正式的生产环境,只做入门参考

  • 相关阅读:
    Django_Setings
    python之event【事件】
    python之递归锁【Rlock】
    python之信号量【Semaphore】
    python的线程锁
    python的多线程和守护线程
    python的错误类型和异常处理
    python之ftp作业【还未完成】
    python之socket运用之传输大文件
    python之socket运用之执行命令
  • 原文地址:https://www.cnblogs.com/itxiaok/p/9469378.html
Copyright © 2011-2022 走看看