Mycat快速入门: 全局序列号

一： 简介

在实现分库分表的情况下，数据库自增主键已无法保证自增主键的全局唯一。为此，MyCat 提供了全局 sequence，并且提供了包含本地配置和数据库配置等多种实现方式。

二: sequnceHandlerType

序列号处理器类型，感觉“sequnce” 序列号是不是少了个e字母，应该是“sequence”

• 0: 本地文件方式(sequence_conf.properties)
• 1: 数据库方式(MYCAT_SEQUENCE表、sequence_db_conf.properties)
• 2: 本地时间戳方式(sequence_time_conf.properties)
• 3: 分布式ZK ID生成器
• 4: ZK递增方式

_________________________________________________________________________________________________

Mycat全局序列号

https://blog.csdn.net/foolishfu/article/details/101023952

 

分类专栏： Mycat

 

在实现分库分表的情况下，数据库自增主键已无法保证自增主键的全局唯一。为此，MyCat 提供了全局
sequence，并且提供了包含本地配置和数据库配置等多种实现方式。

本地文件方式

原理：此方式 MyCAT 将 sequence 配置到文件中，当使用到 sequence 中的配置后，MyCAT 会更新下
classpath 中的 sequence_conf.properties 文件中 sequence 当前的值。

配置方式：
在 sequence_conf.properties 文件中做如下配置：
GLOBAL_SEQ.HISIDS=
GLOBAL_SEQ.MINID=1001
GLOBAL_SEQ.MAXID=1000000000
GLOBAL_SEQ.CURID=1000

其中 HISIDS 表示使用过的历史分段(一般无特殊需要可不配置)，MINID 表示最小 ID 值，MAXID 表示最大
ID 值，CURID 表示当前 ID 值。
server.xml 中配置：
<system><property name="sequnceHandlerType">0</property></system>
注：sequnceHandlerType 需要配置为 0，表示使用本地文件方式。
使用示例：
insert into table1(id,name) values(next value for MYCATSEQ_GLOBAL,‘test’);
缺点：当 MyCAT 重新发布后，配置文件中的 sequence 会恢复到初始值。
优点：本地加载，读取速度较快。

数据库方式

原理：在数据库中建立一张表，存放 sequence 名称(name)，sequence 当前值(current_value)，步长(increment
int 类型每次读取多少个 sequence，假设为 K)等信息；

Sequence 获取步骤：
1).当初次使用该 sequence 时，根据传入的 sequence 名称，从数据库这张表中读取 current_value，和
increment 到 MyCat 中，并将数据库中的 current_value 设置为原 current_value 值+increment 值。
.MyCat 将读取到 current_value+increment 作为本次要使用的 sequence 值，下次使用时，自动加 1，当
使用 increment 次后，执行步骤 1)相同的操作。
MyCat 负责维护这张表，用到哪些 sequence，只需要在这张表中插入一条记录即可。若某次读取的
sequence 没有用完，系统就停掉了，则这次读取的 sequence 剩余值不会再使用。

配置方式：
server.xml 配置：
<system><property name="sequnceHandlerType">1</property></system>
注：sequnceHandlerType 需要配置为 1，表示使用数据库方式生成 sequence。

数据库配置：
1) 创建 MYCAT_SEQUENCE 表
– 创建存放 sequence 的表
DROP TABLE IF EXISTS MYCAT_SEQUENCE;
– name sequence 名称
– current_value 当前 value
– increment 增长步长! 可理解为 mycat 在数据库中一次读取多少个 sequence. 当这些用完后, 下次再从数
据库中读取。
CREATE TABLE MYCAT_SEQUENCE (name VARCHAR(50) NOT NULL,current_value INT NOT
NULL,increment INT NOT NULL DEFAULT 100, PRIMARY KEY(name)) ENGINE=InnoDB;
– 插入一条 sequence
INSERT INTO MYCAT_SEQUENCE(name,current_value,increment) VALUES (‘GLOBAL’, 100000,
100);

2) 创建相关 function

– 获取当前 sequence 的值 (返回当前值,增量)
DROP FUNCTION IF EXISTS mycat_seq_currval;
DELIMITER
CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET
utf-8
DETERMINISTIC
BEGIN
DECLARE retval VARCHAR(64);
SET retval=“-999999999,null”;
SELECT concat(CAST(current_value AS CHAR),“,”,CAST(increment AS CHAR)) INTO retval FROM
MYCAT_SEQUENCE WHERE name = seq_name;
RETURN retval;
END
DELIMITER;

– 设置 sequence 值
DROP FUNCTION IF EXISTS mycat_seq_setval;
DELIMITER
CREATE FUNCTION mycat_seq_setval(seq_name VARCHAR(50),value INTEGER) RETURNS varchar(64)
CHARSET utf-8
DETERMINISTIC
BEGIN
UPDATE MYCAT_SEQUENCE
SET current_value = value
WHERE name = seq_name;
RETURN mycat_seq_currval(seq_name);
END
DELIMITER;

– 获取下一个 sequence 值
DROP FUNCTION IF EXISTS mycat_seq_nextval;
DELIMITER
CREATE FUNCTION mycat_seq_nextval(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET
utf-8
DETERMINISTIC
BEGIN
UPDATE MYCAT_SEQUENCE
SET current_value = current_value + increment WHERE name = seq_name;
RETURN mycat_seq_currval(seq_name);
END
DELIMITER;

3)
sequence_db_conf.properties 相关配置,指定 sequence 相关配置在哪个节点上：
例如：
USER_SEQ=test_dn1
注意：MYCAT_SEQUENCE 表和以上的 3 个 function，需要放在同一个节点上。function 请直接在具体节
点的数据库上执行，如果执行的时候报：
you might want to use the less safe log_bin_trust_function_creators variable
需要对数据库做如下设置：
windows 下 my.ini[mysqld]加上 log_bin_trust_function_creators=1
linux 下/etc/my.cnf 下 my.ini[mysqld]加上 log_bin_trust_function_creators=1
修改完后，即可在 mysql 数据库中执行上面的函数。
使用示例：
insert into table1(id,name) values(next value for MYCATSEQ_GLOBAL,‘test’)；

本地时间戳方式

ID= 64 位二进制 (42(毫秒)+5(机器 ID)+5(业务编码)+12(重复累加)
换算成十进制为 18 位数的 long 类型，每毫秒可以并发 12 位二进制的累加。

使用方式：
a. 配 置 server.xml
<property name="sequnceHandlerType">2</property>
b.
在 mycat 下配置：sequence_time_conf.properties
WORKID=0-31 任意整数
DATAACENTERID=0-31 任意整数
多个 mycat 节点下每个 mycat 配置的 WORKID，DATAACENTERID 不同，组成唯一标识，总共支持
32*32=1024 种组合。
ID 示例：56763083475511

分布式 ZK ID 生成器

<property name="sequnceHandlerType">3</property>
Zk 的连接信息统一在 myid.properties 的 zkURL 属性中配置。
基于 ZK 与本地配置的分布式 ID 生成器(可以通过 ZK 获取集群（机房）唯一 InstanceID，也可以通过配置文
件配置 InstanceID)
ID 结构：long 64 位，ID 最大可占 63 位
* |current time millis(微秒时间戳 38 位,可以使用 17 年)|clusterId（机房或者 ZKid，通过配置文件配置 5
位）|instanceId（实例 ID，可以通过 ZK 或者配置文件获取，5 位）|threadId（线程 ID，9 位）
|increment(自增,6 位)
* 一共 63 位，可以承受单机房单机器单线程 1000*(2^6)=640000 的并发。
* 无悲观锁，无强竞争，吞吐量更高
配置文件：sequence_distributed_conf.properties，只要配置里面：INSTANCEID=ZK 就是从 ZK 上获取
InstanceID。

Zk 递增方式

<property name="sequnceHandlerType">4</property>
Zk 的连接信息统一在 myid.properties 的 zkURL 属性中配置。
4 是 zookeeper 实现递增序列号

* 配置文件：sequence_conf.properties
* 只要配置好 ZK 地址和表名的如下属性
* TABLE.MINID 某线程当前区间内最小值
* TABLE.MAXID 某线程当前区间内最大值
* TABLE.CURID 某线程当前区间内当前值
* 文件配置的 MAXID 以及 MINID 决定每次取得区间，这个对于每个线程或者进程都有效
* 文件中的这三个属性配置只对第一个进程的第一个线程有效，其他线程和进程会动态读取 ZK

其他方式

1) 使用 catelet 注解方式
/*!mycat:catlet=demo.catlets.BatchGetSequence */SELECT mycat_get_seq(‘GLOBAL’,100);
注：此方法表示获取 GLOBAL 的 100 个 sequence 值，例如当前 GLOBAL 的最大 sequence 值为 5000，
则通过此方式返回的是 5001，同时更新数据库中的 BLOBAL 的最大 sequence 值为 5100。
2) 利用 zookeeper 方式实现
……

自增长主键

MyCAT 自增长主键和返回生成主键 ID 的实现
说明：
1) mysql 本身对非自增长主键，使用 last_insert_id()是不会返回结果的，只会返回 0；
2) mysql 只会对定义自增长主键，可以用 last_insert_id()返回主键值；
MyCAT 目前提供了自增长主键功能，但是如果对应的 mysql 节点上数据表，没有定义 auto_increment，
那么在 MyCAT 层调用 last_insert_id()也是不会返回结果的。

正确配置方式如下：
1) mysql 定义自增主键
CREATE TABLE table1(
‘id_’ INT(10) UNSIGNED NOT NULL AUTO_INCREMENT,
‘name_’ INT(10) UNSIGNED NOT NULL,PRIMARY KEY (‘id_’)
) ENGINE=MYISAM AUTO_INCREMENT=6 DEFAULT CHARSET=utf8;

2)mycat 定义主键自增

3)mycat 对应 sequence_db_conf.properties 增加相应设置
TABLE1=dn1

4) 在数据库中 mycat_sequence 表中增加 TABLE1 表的 sequence 记录

测试使用：
127.0.0.1/root:[TESTDB> insert into tt2(name_) values(‘t1’);
Query OK, 1 row affected (0.14 sec)
127.0.0.1/root:[TESTDB> select last_insert_id();
+——————+
| LAST_INSERT_ID() |
+——————+
| 100 |
+——————+

1 row in set (0.01 sec)
127.0.0.1/root:[TESTDB> insert into tt2(name_) values(‘t2’);
Query OK, 1 row affected (0.00 sec)
127.0.0.1/root:[TESTDB> select last_insert_id();
+——————+
| LAST_INSERT_ID() |
+——————+
| 101 |
+——————+
1 row in set (0.00 sec)
127.0.0.1/root:[TESTDB> insert into tt2(name_) values(‘t3’);
Query OK, 1 row affected (0.00 sec)
127.0.0.1/root:[TESTDB> select last_insert_id();
+——————+
| LAST_INSERT_ID() |
+——————+
| 102 |
+——————+
1 row in set (0.00 sec)
Myibatis 中新增记录后获取 last_insert_id 的示例：