Python+SQLite数据库实现服务端高并发写入

问题描述：

SQLite数据库同一时刻只允许单个线程写入，很多服务端程序会开很多线程，每个线程为一个客户端服务，如果有多个客户端同时发起写入请求，在服务端会因为某个线程尚未写入完成尚未解除对数据库的锁定而导致其他线程无法在限定的时间内完成写入操作而抛出异常，提示“database is locked”。

如果编写高并发的服务端程序，一定要对数据库的写入操作进行有效管理，常用的方案有两个：1）使用锁机制使得多个线程竞争进入临界区，确保同一时刻只有一个线程执行写入数据库的代码；2）连接数据库时设置参数timeout，设置当数据库处于锁定状态时最长等待时间，sqlite3.connect()函数的参数timeout默认值为5秒，不适合服务端程序。但是参数timeout设置为多少更合适取决于具体的应用场景，虽然形式简洁，但是不如第一种方法通用。

演示代码如下，可以注释掉两种方案的代码，多次运行程序观察运行状态。

 

或者使用线程锁LOCK

 

使用redis-lock锁机制，解决并发带来的问题

python3 使用 python-redis-lock 编写锁，解决并发计算问题 - 云 + 社区 - 腾讯云我在最近的一个任务中，存在一个 redis 高并发计算多个客户端接收预警信息的时长问题。

需求

我在最近的一个任务中，存在一个 redis 高并发计算多个客户端接收预警信息的时长问题。

模型是首先模拟多个客户端连接预警服务器集群，然后向预警服务集群发送告警信息。随后预警服务集群将会向客户端推送告警信息。

此时，我记录了发送告警至预警集群的时间，并且在客户端还会记录接收到告警的时间。

我将这个时间都会记录到 redis 中，那么此时就会有一个问题，当多个客户端抢占式往 redis 读取数据，计算，设置数据，这个过程是会被相互覆盖的。

可以从上面的截图来看，多个不同的客户端读取 redis 的数据，大部分读取到了同一个数据，导致计算错误。

导致问题的示意图如下：

为了解决这个问题，则可以编写一个 redis 的锁，用来控制数据的并发读取以及写入。 在 python redis 库默认只有乐观锁的一种写法，在这里我再推荐使用一个库 python-redis-lock，使用这个库对 redis 多个客户端并发的情况加锁，真的很方便。 下面来看看怎么使用。

python-redis-lock

https://pypi.org/project/python-redis-lock/

在使用这个库之前，需要安装如下：

pip install python-redis-lock

使用锁的示例：

lock = redis_lock.Lock(conn, "name-of-the-lock")
if lock.acquire(blocking=False):
    print("Got the lock.")
    lock.release()
else:
    print("Someone else has the lock.")

上面是单独设置锁的方式，还可以单独设置所有 redis 的操作加入锁。

# On application start/restart
import redis_lock
redis_lock.reset_all(redis_client)

修改业务代码，增加 lock 操作

1. 首先导入 redis_lock

import redis_lock

2. 将 redis 连接的客户端传入 lock 中，并设置 lock 的名称

# 设置redis连接
self.conn = redis.Redis(host='127.0.0.1', port=6379, decode_responses=True, db=3)

# 设置redis锁
self.lock = redis_lock.Lock(self.conn, "redis-lock")

3. 将业务读取、设置 redis 的部分加入锁

while True:
    # 设置redis锁，操作redis
    if self.lock.acquire(blocking=False):
        print("Got the lock.")
        # 获取lock，执行业务处理
        # 获取当前redis钟记录的客户端接收到告警的总时长
        recv_time_sum_count_clients = self.conn.get(recv_time_sum_count_clients_key)
        if recv_time_sum_count_clients is None:
            recv_time_sum_count_clients = "0:0"

        # 获取当前的统计数据
        recv_time_sum, count_clients = recv_time_sum_count_clients.split(":")

        # 计算告警接收总时长
        recv_time_sum = float(recv_time_sum) + recv_time
        # 计算收到预警的客户端数量
        count_clients = int(count_clients) + 1

        # 写入redis中
        recv_time_sum_count_clients = "%s:%s" % (str(recv_time_sum), str(count_clients))
        self.conn.set(recv_time_sum_count_clients_key, recv_time_sum_count_clients)

        print("user_id = %s, 计算平均时间成功, "
              "recv_time_sum = %s, count_clients = %s \n" %
              (self.user_id, recv_time_sum, count_clients))

        # 释放lock
        self.lock.release()

        # 退出循环
        break
    else:
        print("Someone else has the lock.")            

在客户端的代码中设置了锁之后，再来执行一下，看看有无抢占读取 redis 数据的情况，如下：

设置了锁之后，客户端由于并发导致 redis 数据读取、设置错误的情况就可以避免了。