zoukankan      html  css  js  c++  java
  • sharding sphere 4.0.0-RC1版本 按年分表(自动建表)

    1. sharding sphere 4.0.0-RC1版本 按年分表(自动建表)

    1.1. 概述

    上篇文章留了个坑,sharding sphere本身没有提供自动建表功能,但我想了想,我们可以绕过它本身的设定,它本身的数据分片是通过分片算法实现,如下继承一些接口PreciseShardingAlgorithmRangeShardingAlgorithm等,在范围查询的时候,原本我们需要从availableTargetNames参数去判断已存在的表,从而做到不查不存在的表,插入时也是同样的道理

    但是事实上我们可以不需要使用availableTargetNames参数,在系统初始化的时候自行去查询已存在的表再缓存起来,当然过程中我也踩了些坑,因为LogShardingAlgorithm的加载过程和我读数据库的顺序不好控制,理论上我可以随时连接数据库读,但我又需要读到spring加载的配置环境再决定连哪个数据库,不断的测试后还是不好安排,最后采取了如下的方式,在第一次调用分片算法的时候读取并缓存表

    这样做后实现的效果就是在做插入数据的时候,我判断日期为2020年的表是否在缓存中,在则说明数据库存在该表,否则我先创建该表,再把该表加入缓存;而做范围查询的时候,我们容易请求参数超范围,则从缓存中的表挑选,这些表才是存在的,比如你数据库存在2018,2019,2020年的表,你查询条件是2017~2021,那么也只会查18,19,20三张表

    /**
     * @author: laoliangliang
     * @description: 日志分片
     * @create: 2020/1/2 10:19
     **/
    @Slf4j
    public class LogShardingAlgorithm implements PreciseShardingAlgorithm, RangeShardingAlgorithm<Integer> {
    
        /**
         * 缓存存在的表
         */
        private List<String> tables;
    
        private final String systemLogHead = "system_log_";
    
        private Boolean isLoad = false;
    
        @Override
        public String doSharding(Collection availableTargetNames, PreciseShardingValue shardingValue) {
            if (!isLoad) {
                tables = DBUtil.getAllSystemLogTable();
                isLoad = true;
            }
            String target = shardingValue.getValue().toString();
            String year = target.substring(target.lastIndexOf("_") + 1, target.lastIndexOf("_") + 5);
            if (!tables.contains(systemLogHead + year)) {
                DBUtil.createLogTable(year);
                tables.add(year);
            }
            return shardingValue.getLogicTableName() + "_" + year;
        }
    
        @Override
        public Collection<String> doSharding(Collection<String> availableTargetNames, RangeShardingValue<Integer> shardingValue) {
            if (!isLoad) {
                tables = DBUtil.getAllSystemLogTable();
                isLoad = true;
            }
            Collection<String> availables = new ArrayList<>();
            Range valueRange = shardingValue.getValueRange();
            for (String target : tables) {
                Integer shardValue = Integer.parseInt(target.substring(target.lastIndexOf("_") + 1, target.lastIndexOf("_") + 5));
                if (valueRange.hasLowerBound()) {
                    String lowerStr = valueRange.lowerEndpoint().toString();
                    Integer start = Integer.parseInt(lowerStr.substring(0, 4));
                    if (start - shardValue > 0) {
                        continue;
                    }
                }
                if (valueRange.hasUpperBound()) {
                    String upperStr = valueRange.upperEndpoint().toString();
                    Integer end = Integer.parseInt(upperStr.substring(0, 4));
                    if (end - shardValue < 0) {
                        continue;
                    }
                }
                availables.add(target);
            }
            return availables;
        }
    }
    
    

    1.2. 技巧

    1. 这里要读取system_log_2019,system_log_2020表的表名只需查询mysql的information_schema.TABLES,如:
    select TABLE_NAME from information_schema.`TABLES`
    where TABLE_NAME like 'system_log_%'
    

    老梁讲Java

    欢迎关注公众号,回复“教学视频”一起学习进步

  • 相关阅读:
    数据库连接池-配置 wallfilter问题解决-UncategorizedSQLException
    maven统一配置
    maven依赖排除
    list排序
    spring boot日志配置
    HDU 5281 Senior's Gun (贪心)
    Saving HDU (贪心)
    切割木板 (贪心)
    查找最少标记点 (贪心)
    字典序最小问题 (贪心)
  • 原文地址:https://www.cnblogs.com/sky-chen/p/12197562.html
Copyright © 2011-2022 走看看