zoukankan      html  css  js  c++  java
  • Python3 实现数据读写分离设计

    前言

    首先读写分离可以保证数据库的稳定,简单的说就是当网站访问量大时,读写都在一个库,很有可能会出现脏数据的情况,如果采取阻塞似操作,那么用户体验就会变得更差。

    而且目前大多数网站的读写是失衡的,以淘宝为例,读写比例大概是 1:500。

    所以将数据库设计成读写分离的模式,就变得很讨巧。

    设计方案

    通过示意图可看,主库为main数据库,主要负责insert/update/delete操作,从库为可读数据库,主要负责读取数据,并且从库可以拥有很多。

    注意

    1.要区分读与写。select 操作在从库, inser,update,delete 操作则在主库上。

    2.从库多时,需要考虑均衡负载。

    3.现在任何技术都做不到,主从数据库的realtime更新,所以要做好更迭设计。

    为什么选择python3

    市面上有许多数据库读写分离的插件,但是其配置之难,堪称变态(至少,我是没配置成功过)。

    并且使用一门自己了解的语言,开发出插件后,会对它的设计模式更加了解。

    这里,我们可以选择python3 socket tcp。为什么是tcp 不是udp?因为我们要确保数据的完整性,读取的数据丢失掉,或者不完整,那就不太好了。

    服务器端
    
    s.bind()     
    # 绑定地址(host,port)到套接字, 在AF_INET下,以元组(host,port)的形式表示地址。
    s.listen()     
    # 开始TCP监听。backlog指定在拒绝连接之前,操作系统可以挂起的最大连接数量。该值至少为1,大部分应用程序设为5就可以了。
    s.accept()     
    # 被动接受TCP客户端连接,(阻塞式)等待连接的到来
    
    
    客户端
    
    s.connect()     
    # 主动初始化TCP服务器连接,。一般address的格式为元组(hostname,port),如果连接出错,返回socket.error错误。
    s.connect_ex()     
    # connect()函数的扩展版本,出错时返回出错码,而不是抛出异常
    
    
    公共用途的函数
    
    s.recv()     
    # 接收TCP数据,数据以字符串形式返回,bufsize指定要接收的最大数据量。flag提供有关消息的其他信息,通常可以忽略。
    s.send()     
    # 发送TCP数据,将string中的数据发送到连接的套接字。返回值是要发送的字节数量,该数量可能小于string的字节大小。
    s.sendall()     
    # 完整发送TCP数据,完整发送TCP数据。将string中的数据发送到连接的套接字,但在返回之前会尝试发送所有数据。成功返回None,失败则抛出异常。
    s.close()
    # 关闭套接字
    
    
    s.recvform()     
    # 接收UDP数据,与recv()类似,但返回值是(data,address)。其中data是包含接收数据的字符串,address是发送数据的套接字地址。
    s.sendto()     
    # 发送UDP数据,将数据发送到套接字,address是形式为(ipaddr,port)的元组,指定远程地址。返回值是发送的字节数。
    s.getpeername()     
    # 返回连接套接字的远程地址。返回值通常是元组(ipaddr,port)。
    s.getsockname()     
    # 返回套接字自己的地址。通常是一个元组(ipaddr,port)
    s.setsockopt(level,optname,value)     
    # 设置给定套接字选项的值。
    s.getsockopt(level,optname[.buflen])      
    # 返回套接字选项的值。
    s.settimeout(timeout)     
    # 设置套接字操作的超时期,timeout是一个浮点数,单位是秒。值为None表示没有超时期。一般,超时期应该在刚创建套接字时设置,因为它们可能用于连接的操作(如connect())
    s.gettimeout()     
    # 返回当前超时期的值,单位是秒,如果没有设置超时期,则返回None。
    s.fileno()     
    # 返回套接字的文件描述符。
    s.setblocking(flag)     
    # 如果flag为0,则将套接字设为非阻塞模式,否则将套接字设为阻塞模式(默认值)。非阻塞模式下,如果调用recv()没有发现任何数据,或send()调用无法立即发送数据,那么将引起socket.error异常。
    s.makefile()     
    # 创建一个与该套接字相关连的文件
    

    简单实例

    main 端
    
    import socketserver  # 导入socketserver模块
    class MyServer(socketserver.BaseRequestHandler):  # 创建一个类,继承自socketserver模块下的BaseRequestHandler类
        def handle(self):  # 要想实现并发效果必须重写父类中的handler方法,在此方法中实现服务端的逻辑代码(不用再写连接准备,包括bind()、listen()、accept()方法)
            while 1:
                conn = self.request
                addr = self.client_address
                # 上面两行代码,等于 conn,addr = socket.accept(),只不过在socketserver模块中已经替我们包装好了,还替我们包装了包括bind()、listen()、accept()方法
                while 1:
                    accept_data = str(conn.recv(1024), encoding="utf8")
                    print(accept_data)
                    if accept_data == "byebye":
                        break
                    send_data = bytes(input(">>>>>"), encoding="utf8")
                    conn.sendall(send_data)
                conn.close()
    if __name__ == '__main__':
        sever = socketserver.ThreadingTCPServer(("127.0.0.1", 8888),
                                                MyServer)  # 传入 端口地址 和 我们新建的继承自socketserver模块下的BaseRequestHandler类  实例化对象
    
        sever.serve_forever()  # 通过调用对象的serve_forever()方法来激活服务端
    
    
    slave端
    
    import socket
    sk = socket.socket()
    sk.connect(("127.0.0.1", 8888))  # 主动初始化与服务器端的连接
    while True:
        send_data = input("输入发送内容:")
        sk.sendall(bytes(send_data, encoding="utf8"))
        if send_data == "byebye":
            break
        accept_data = str(sk.recv(1024), encoding="utf8")
        print("".join(("接收内容:", accept_data)))
    sk.close()
    

    总结

    做好读写分离开关,确保在需要时才启用读写分离。

    读写分离好处: 降低了数据库访问负载压力。

    坏处:  需要很多资源;主从数据库数据的一致性问题;

     

      

  • 相关阅读:
    C#后台利用正则表达式查找匹配字符
    C# Dictionary 的几种遍历方法
    eval解析JSON中的注意点
    jquery datatables api (转)
    Replication--镜像+复制
    Replication--分区+复制
    Replication--进程无法在“xxxx”上执行“sp_replcmds”
    Replication--无法将事务提升为分布式事务,因为在事务中有活动的保存点
    Replication--使用MSlogreader_history查看日志读起的延迟和事务命令
    Partition--分区拆分和分区合并
  • 原文地址:https://www.cnblogs.com/peiyu1988/p/6774052.html
Copyright © 2011-2022 走看看