zoukankan      html  css  js  c++  java
  • 用户表分表原理

    当用户数量达到百万甚至千万级别的时候,可能无法靠单标满足现有需求。此时常用的处理方式就是分库分表。这里介绍一个简单的分表方法。

    对用户进行分表,首先要解决的是将一个用户分配到那个表,然后如何知道去哪个表查询该用户的数据。解决了这个两个问题。无论将该用户的数据放在哪个表都无所谓。

    首先来看一个方法:

    function getHash($uid) {
    
        return sprintf('%03x',intval(sprintf('%u', crc32($uid)))%512 );
    
    }

    该方法完成了以下步骤:

    (1)通过循环冗余校验,每个字符串都会生成一个固定的数字。

    (2)用该数字对512取模得到一个0<=X<512的数字

    (3)再用16进制格式化,可生成一个固定的3个字符的字符串。

    (4)该方法的作用可以通过用户ID生成一个固定的3个字符的字符串。根据该字符串可将该用户分配到对应的表中。

    不论用户id是什么,通过循环冗余校验后都能得到一个数字。将该数字取模。然后将余数格式化成字符串。(当然也可以不格式化,直接用数字也可以。)然后用该字符串做前缀或者后缀创建用户表。

    例如:

    我先以固定字符串为后缀,在user数据库创建了user_000、user_001 … user_1ff共512张用户表。(当然512张表的结构是一模一样的。)

    $model = new Model();
    $db = 'userdb';
    for
    ($i=0; $i<512; $i++){ $num = sprintf('%03x', $i); $sql="CREATE TABLE IF NOT EXISTS `{$db}`.`user_{$num}` ( `uid` bigint(20) NOT NULL, `name` int(11) NOT NULL, `server` int(11) NOT NULL, `cid` int(11) NOT NULL, `aid` int(11) NOT NULL, `areaId` int(11) NOT NULL, `eventtime` int(11) NOT NULL, `eventdate` date NOT NULL, `eventhour` int(11) NOT NULL, PRIMARY KEY (`uid`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8"; $model->query($sql); }

    然后将一个用户ID为test@163.com 通过以上行数进行格式化,得到一个3个字符串:1c8 ,然后将此用户的数据存入user.user_1c8 数据表中,以后需要用到这个用户的数据,只要进该用户id也就是test@163.com 通过以上方法得到1c8 然后从数据表user.user_1c8 中查询该用户的数据即可。

  • 相关阅读:
    Datax streamreader json测试样例
    dbeaver 连接 elasticsearch 记录
    灾害链开发记录资料汇总
    mxgraph
    drawio www.diagrams.net 画图应用程序开发过程资料汇总
    neo4j学习记录
    GraphVis 图可视化分析组件
    D3学习记录
    Kubernetes K8S之固定节点nodeName和nodeSelector调度详解
    记一次性能优化,单台4核8G机器支撑5万QPS
  • 原文地址:https://www.cnblogs.com/LO-gin/p/9156477.html
Copyright © 2011-2022 走看看