redis-使用-pipeline大批量提交提高性能

pipeline

传统我们redis 发送10万个请求,requset-response 请求响应,需要等待一个请求发送到redid redis成功处理并响应才返回

我们线上有一块儿代码 要10多秒 才能响应，后面发现大批量redis查询 改为管道就变成1秒内

性能对比测试

    public static void main(String[] args)
            throws Exception {
        Jedis conn = new Jedis("127.0.0.1", 6379);
        testMulti(conn);
       testPipeline(conn);
        test(conn);

    }

    public static void testMulti( Jedis conn){
        conn.del("testMulti");
        Long start=System.currentTimeMillis();
        Transaction t= conn.multi();
        for(int i=0;i<100000;i++){
            t.sadd("testMulti",String.valueOf(i));
        }
        t.exec();
        Long end=System.currentTimeMillis();
        System.out.println("testMulti耗时"+(end-start)+"毫秒");
    }
    public static void testPipeline( Jedis conn){
        conn.del("testPipeline");
        Long start=System.currentTimeMillis();
        Pipeline pipeline=conn.pipelined();
        for(int i=0;i<100000;i++){
            pipeline.sadd("testPipeline",String.valueOf(i));
        }
        pipeline.syncAndReturnAll();
        Long end=System.currentTimeMillis();
        System.out.println("testPipeline耗时"+(end-start)+"毫秒");
    }
    public static void test( Jedis conn){
        conn.del("test");
        Long start=System.currentTimeMillis();
        for(int i=0;i<100000;i++){
            conn.sadd("test",String.valueOf(i));
        }
        Long end=System.currentTimeMillis();
        System.out.println("test耗时"+(end-start)+"毫秒");
    }

输出

testMulti耗时380毫秒  
testPipeline耗时360毫秒
test耗时4655毫秒

如果改为100万次 multi拿结果的时候会超时

疑惑

网上说是一直发非事物处理，但是并不等待结果,按理说，发送后 get应该是修改的值，但是我测试没有调用syncAndReturnAll redis并没有修改

        Jedis conn = new Jedis("127.0.0.1", 6379);
        Pipeline pipeline= conn.pipelined();
        pipeline.set("test5","6");
        Thread.sleep(10000);//这个时候另外一个线程去读取 test5是null
        pipeline.syncAndReturnAll();//这一句执行完后 get test5获取到6

解惑

redis 管道是需要客户端和服务端的支持,服务端需要能够接受批量的命令并处理,客户端 需要将命令写入缓冲区最后一次发送,

Jedis客户端缓存是8192，超过该大小则刷新缓存，或者直接发送

注意事项

多个大批量 尽量分批提交(如10万 1万一批的提交),避免超时