zoukankan      html  css  js  c++  java

  • 个人技能总结5--Redis在Javaweb项目中的应用

    Redis的应用场景：

    1.redis中建的生存时间：（expire）

    redis中可以使用expire命令来设置一个键的生存时间，到时间后redis会自动删除它；

    应用场景：

    ① 限时的优惠活动信息

    ② 网站的数据缓存（需要定时更新的数据，比如积分排行榜）

    ③ 手机验证码

    ④限制网站访客访问频率

    2.redis的事务（transation）

    redis中的事务是一组命令的集合。事务同命令一样都是redis的最小执行单元。一组事务中的命令要么都执行，要么都不执行。(例如：转账)

    3.redis任务队列

    任务队列：使用lpush和rpop(brpop)可以实现普通的任务队列。

     brpop是列表的阻塞式(blocking)弹出原语。

    它是 RPOP命令的阻塞版本，当给定列表内没有任何元素可供弹出的时候，连接将被 BRPOP命令阻塞，直到等待超时或发现可弹出元素为止。

    当给定多个 key 参数时，按参数 key 的先后顺序依次检查各个列表，弹出第一个非空列表的尾部元素。

    4.redis管道(pipeline)

    redis的pipeline(管道)功能在命令行中没有，但是redis是支持管道的，在Java的客户端(jedis)中是可以使用的。

    测试发现：

    1：不使用管道方式，插入1000条数据耗时328毫秒

    2：使用管道方式，插入1000条数据耗时37毫秒

    在插入更多数据的时候，管道的优势更加明显：测试10万条数据的时候，不使用管道要40秒，实用管道378毫秒。

    5.redis持久化（persistence）

    redis支持两种方式的持久化，可以单独使用或者结合起来使用。

    第一种：RDB方式（redis默认的持久化方式）

    第二种：AOF方式

    redis持久化之RDB

    rdb方式的持久化是通过快照完成的，当符合一定条件时redis会自动将内存中的所有数据执行快照操作并存储到硬盘上。默认存储在dump.rdb文件中。(文件名在配置文件中dbfilename)

    redis进行快照的时机（在配置文件redis.conf中）

    [java] view plain copy
     
    1. save 900 1  //表示900秒内至少一个键被更改则进行快照。  
    2. save 300 10  //表示300秒内10条被更改则快照  
    3. save 60 10000  //60秒内10000条  

     

    Redis自动实现快照的过程

    1、redis使用fork函数复制一份当前进程的副本(子进程)

    2、父进程继续接收并处理客户端发来的命令，而子进程开始将内存中的数据写入硬盘中的临时文件

    3、当子进程写入完所有数据后会用该临时文件替换旧的RDB文件，至此，一次快照操作完成。

    注意：redis在进行快照的过程中不会修改RDB文件，只有快照结束后才会将旧的文件替换成新的，也就是说任何时候RDB文件都是完整的。

    这就使得我们可以通过定时备份RDB文件来实现redis数据库的备份

    RDB文件是经过压缩的二进制文件，占用的空间会小于内存中的数据，更加利于传输。

    手动执行save或者bgsave命令让redis执行快照。

    两个命令的区别在于，save是由主进程进行快照操作，会阻塞其它请求。bgsave是由redis执行fork函数复制出一个子进程来进行快照操作。

    文件修复：

    [python] view plain copy
     
    1. redis-check-dump  


    rdb的优缺点

    优点：由于存储的有数据快照文件，恢复数据很方便。

    缺点：会丢失最后一次快照以后更改的所有数据。

    redis持久化之AOF

    aof方式的持久化是通过日志文件的方式。默认情况下redis没有开启aof，可以通过参数appendonly参数开启。

    [python] view plain copy
     
    1. appendonly yes  


    aof文件的保存位置和rdb文件的位置相同，都是dir参数设置的，默认的文件名是appendonly.aof，可以通过appendfilename参数修改

    [python] view plain copy
     
    1. appendfilename appendonly.aof  

     

    redis写命令同步的时机

    [python] view plain copy
     
    1. appendfsync always 每次都会执行  
    2. appendfsync everysec 默认 每秒执行一次同步操作（推荐，默认）  
    3. appendfsync no不主动进行同步，由操作系统来做，30秒一次  

     

    aof日志文件重写

    [python] view plain copy
     
    1. auto-aof-rewrite-percentage 100(当目前aof文件大小超过上一次重写时的aof文件大小的百分之多少时会再次进行重写，如果之前没有重写，则以启动时的aof文件大小为依据)  
    2. auto-aof-rewrite-min-size 64mb  

     

    手动执行bgrewriteaof进行重写

    重写的过程只和内存中的数据有关，和之前的aof文件无关。

    所谓的“重写”其实是一个有歧义的词语， 实际上， AOF 重写并不需要对原有的 AOF 文件进行任何写入和读取， 它针对的是数据库中键的当前值。

    文件修复：

    [python] view plain copy
     
    1. redis-check-aof  

    动态切换redis持久方式，从 RDB 切换到 AOF（支持Redis 2.2及以上）

    [python] view plain copy
     
    1. CONFIG SET appendonly yes  
    2. CONFIG SET save ""（可选）  

    注意：

    1、当redis启动时，如果rdb持久化和aof持久化都打开了，那么程序会优先使用aof方式来恢复数据集，因为aof方式所保存的数据通常是最完整的。如果aof文件丢失了，则启动之后数据库内容为空。

    2、如果想把正在运行的redis数据库，从RDB切换到AOF，建议先使用动态切换方式，再修改配置文件，重启数据库。(不能自己修改配置文件，重启数据库，否则数据库中数据就为空了。)

    6.redis的安全策略

    设置数据库密码

    bind参数（可以让数据库只能在指定IP下访问）

    修改命令的名称

    禁用命令 

    7.redis内存占用情况

    测试情况：

    100万个键值对（键是0到999999值是字符串“hello world”）在32位操作系统的笔记本上 用了100MB

    使用64位的操作系统的话，相对来说占用的内存会多一点，这是因为64位的系统里指针占用了8个字节，但是64位系统也能支持更大的内存，所以运行大型的redis服务还是建议使用64位服务器

    8.Redis实例最多存keys数

    理论上Redis可以处理多达2的32次方的keys，并且在实际中进行了测试，每个实例至少存放了2亿5千万的keys

    也可以说Redis的存储极限是系统中的可用内存值。

    9.redis优化1

    精简键名和键值

    键名：尽量精简，但是也不能单纯为了节约空间而使用不易理解的键名。

    键值：对于键值的数量固定的话可以使用0和1这样的数字来表示，（例如：male/female、right/wrong）

    当业务场景不需要数据持久化时，关闭所有的持久化方式可以获得最佳的性能

    内部编码优化（大家可以自己了解）

    redis为每种数据类型都提供了两种内部编码方式，在不同的情况下redis会自动调整合适的编码方式。（如图所示）

    修改Linux内核内存分配策略

    原因： redis在运行过程中可能会出现下面问题

    关闭Transparent Huge Pages(THP)

    THP会造成内存锁影响redis性能，建议关闭

    修改linux中TCP 监听的最大容纳数量

    在高并发环境下你需要一个高backlog值来避免慢客户端连接问题。注意Linux内核默默地将这个值减小到/proc/sys/net/core/somaxconn的值，所以需要确认增大somaxconn和tcp_max_syn_backlog两个值来达到想要的效果。

    注意：这个参数并不是限制redis的最大链接数。如果想限制redis的最大连接数需要修改maxclients，默认最大连接数为10000。

    限制redis的内存大小

    通过redis的info命令查看内存使用情况

    如果不设置maxmemory或者设置为0，64位系统不限制内存，32位系统最多使用3GB内存。

    修改配置文件中的maxmemory和maxmemory-policy

    如果可以确定数据总量不大，并且内存足够的情况下不需要限制redis使用的内存大小。如果数据量不可预估，并且内存也有限的话，尽量限制下redis使用的内存大小，这样可以避免redis使用swap分区或者出现OOM错误。

    注意：如果不限制内存，当物理内存使用完之后，会使用swap分区，这样性能较低，如果限制了内存，当到达指定内存之后就不能添加数据了，否则会报OOM错误。可以设置maxmemory-policy，内存不足时删除数据。

    Redis是个单线程模型，客户端过来的命令是按照顺序执行的，所以想要一次添加多条数据的时候可以使用管道

    Java代码

    发布与订阅

    在更新中保持用户对数据的映射是系统中的一个普遍任务。Redis的pub/sub功能使用了SUBSCRIBE、UNSUBSCRIBE和PUBLISH命令，让这个变得更加容易。

    代码示例：

    [java] view plain copy
     
    1. // 订阅频道数据  
    2. public static void testSubscribe() {  
    3.     //连接Redis数据库  
    4.     Jedis jedis = new Jedis("192.168.33.130", 6379);  
    5.     JedisPubSub jedisPubSub = new JedisPubSub() {  
    6.   
    7.         // 当向监听的频道发送数据时，这个方法会被触发  
    8.         @Override  
    9.         public void onMessage(String channel, String message) {  
    10.             System.out.println("收到消息" + message);  
    11.             //当收到 "unsubscribe" 消息时，调用取消订阅方法  
    12.             if ("unsubscribe".equals(message)) {  
    13.                 this.unsubscribe();  
    14.             }  
    15.         }  
    16.   
    17.         // 当取消订阅指定频道的时候，这个方法会被触发  
    18.         @Override  
    19.         public void onUnsubscribe(String channel, int subscribedChannels) {  
    20.             System.out.println("取消订阅频道" + channel);  
    21.         }  
    22.   
    23.     };  
    24.     // 订阅之后，当前进程一致处于监听状态，当被取消订阅之后，当前进程会结束  
    25.     jedis.subscribe(jedisPubSub, "ch1");  
    26. }  
    27.   
    28.   
    29. // 发布频道数据  
    30. public static void testPubSub() throws Exception {  
    31.     //链接Redis数据库  
    32.     Jedis jedis = new Jedis("192.168.33.130", 6379);  
    33.     //发布频道 "ch1" 和消息 "hello redis"  
    34.     jedis.publish("ch1", "hello redis");  
    35.     //关闭连接  
    36.     jedis.close();  
    37. }  

    打印结果：

    限制网站访客访问频率

    进行各种数据统计的用途是非常广泛的，比如想知道什么时候封锁一个IP地址。INCRBY命令让这些变得很容易，通过原子递增保持计数；GETSET用来重置计数器；过期属性expire用来确认一个关键字什么时候应该删除。

    代码示例：

    [java] view plain copy
     
    1. //指定Redis数据库连接的IP和端口  
    2. String host = "192.168.33.130";  
    3. int port = 6379;  
    4. Jedis jedis = new Jedis(host, port);  
    5.   
    6. /** 
    7.  * 限制网站访客访问频率 一分钟之内最多访问10次 
    8.  *  
    9.  * @throws Exception 
    10.  */  
    11. @Test  
    12. public void test3() throws Exception {  
    13.     // 模拟用户的频繁请求  
    14.     for (int i = 0; i < 20; i++) {  
    15.         boolean result = testLogin("192.168.1.100");  
    16.         if (result) {  
    17.             System.out.println("正常访问");  
    18.         } else {  
    19.             System.err.println("访问受限");  
    20.         }  
    21.     }  
    22.   
    23. }  
    24.   
    25. /** 
    26.  * 判断用户是否可以访问网站 
    27.  *  
    28.  * @param ip 
    29.  * @return 
    30.  */  
    31. public boolean testLogin(String ip) {  
    32.     String value = jedis.get(ip);  
    33.     if (value == null) {  
    34.         //初始化时设置IP访问次数为1  
    35.         jedis.set(ip, "1");  
    36.         //设置IP的生存时间为60秒，60秒内IP的访问次数由程序控制  
    37.         jedis.expire(ip, 60);  
    38.     } else {  
    39.         int parseInt = Integer.parseInt(value);  
    40.         //如果60秒内IP的访问次数超过10，返回false,实现了超过10次禁止分的功能  
    41.         if (parseInt > 10) {  
    42.             return false;  
    43.         } else {  
    44.             //如果没有10次，可以自增  
    45.             jedis.incr(ip);  
    46.         }  
    47.     }  
    48.     return true;  
    49. }  

    打印结果：

    监控变量在事务执行时是否被修改

    代码示例：

    [java] view plain copy
     
    1. // 指定Redis数据库连接的IP和端口  
    2. String host = "192.168.33.130";  
    3. int port = 6379;  
    4. Jedis jedis = new Jedis(host, port);  
    5.   
    6. /** 
    7.  * 监控变量a在一段时间内是否被修改，若没有，则执行事务，若被修改，则事务不执行 
    8.  *  
    9.  * @throws Exception 
    10.  */  
    11. @Test  
    12. public void test4() throws Exception {  
    13.     //监控变量a，在事务执行后watch功能也结束  
    14.     jedis.watch("a");  
    15.     //需要数据库中先有a，并且a的值为字符串数字  
    16.     String value = jedis.get("a");  
    17.     int parseInt = Integer.parseInt(value);  
    18.     parseInt++;  
    19.     System.out.println("线程开始休息。。。");  
    20.     Thread.sleep(5000);  
    21.   
    22.     //开启事务  
    23.     Transaction transaction = jedis.multi();  
    24.     transaction.set("a", parseInt + "");  
    25.     //执行事务  
    26.     List<Object> exec = transaction.exec();  
    27.     if (exec == null) {  
    28.         System.out.println("事务没有执行.....");  
    29.     } else {  
    30.         System.out.println("正常执行......");  
    31.     }  
    32. }  

    打印结果：

    变量a没有被修改时：

     

    变量a被修改时：

     
  • 相关阅读:
    JAVA NIO
    Spider、xmlSpider、FeedSpider、CrawlSpider、RedisSpider分别作用
    Scrapy中xpath用到中文报错
    xpath无法匹配tbody标签
    读书-《不凶不吼教出好孩子》-管教孩子应该先管好自己
    Markdown基本语法
    读书-《刻意练习》天才与庸才的距离
    读书-《第一次买保险就买对》保险我们这样买
    读书-《断舍离》做减法来生活
    读书-《富爸爸穷爸爸》的财商教育经
  • 原文地址：https://www.cnblogs.com/ycmxm/p/7428466.html
Copyright © 2011-2022 走看看