redis必备装杯知识

1 redis其他

# 1 双写一致性，redis和mysql数据同步，方案
	1 先更新数据库，再更新缓存（一般不用）
	2 先删缓存，再更新数据库（在存数据的时候，请求来了，缓存不是最新的）
	3 先更新数据库，再删缓存（推荐用）
# 2 缓存更新策略
	- LRU/LFU/FIFO算法剔除
    -maxmemory-policy，超过最大内存，新的放不进去了，淘汰策略
    	​ LRU -Least Recently Used,没有被使用时间最长的（保证热点数据）
        ​ LFU -Least Frequenty User,一定时间段内使用次数最少的
        ​ FIFO -First In First Out，先进先出
# 3 如何保证redis中数据是最热的，配置lru的剔除算法 
	-配置文件中：maxmemory-policy:volatile-lru
# 4 LFU配置 Redis4.0之后为maxmemory_policy淘汰策略添加了两个LFU模式
	-配置
    	maxmemory-policy:volatile-lfu
    	lfu-log-factor 10
		lfu-decay-time 1
        ># lfu-log-factor可以调整计数器counter的增长速度，lfu-log-factor越大，counter增长的越慢。
        ># lfu-decay-time是一个以分钟为单位的数值，可以调整counter的减少速度
        
        
# 5 缓存粒度控制
	
    
# 6 缓存穿透，缓存击穿，缓存雪崩
    ### 缓存穿透（恶意的）
    #描述：
    缓存穿透是指缓存和数据库中都没有的数据，而用户不断发起请求，如发起为id为“-1”的数据或id为特别大不存在的数据。这时的用户很可能是攻击者，攻击会导致数据库压力过大。
    #解决方案：
    1 接口层增加校验，如用户鉴权校验，id做基础校验，id<=0的直接拦截；
    2 从缓存取不到的数据，在数据库中也没有取到，这时也可以将key-value对写为key-null，缓存有效时间可以设置短点，如30秒（设置太长会导致正常情况也没法使用）。这样可以防止攻击用户反复用同一个id暴力攻击
    3 通过布隆过滤器实现，mysql中所有数据都放到布隆过滤器，请求来了，先去布隆过滤器查，如果没有，表示非法，直接返回

    ### 缓存击穿
    #描述：
    缓存击穿是指缓存中没有但数据库中有的数据（一般是缓存时间到期），这时由于并发用户特别多，同时读缓存没读到数据，又同时去数据库去取数据，引起数据库压力瞬间增大，造成过大压力
    #解决方案：
    设置热点数据永远不过期。

    ### 缓存雪崩
    #描述：
    缓存雪崩是指缓存中数据大批量到过期时间，而查询数据量巨大，引起数据库压力过大甚至down机。和缓存击穿不同的是，        缓存击穿指并发查同一条数据，缓存雪崩是不同数据都过期了，很多数据都查不到从而查数据库。
    # 解决方案：
    1 缓存数据的过期时间设置随机，防止同一时间大量数据过期现象发生。
    2 如果缓存数据库是分布式部署，将热点数据均匀分布在不同搞得缓存数据库中。
    3 设置热点数据永远不过期。
    
    

布隆过滤器

2 mysql主从搭建

# 1 主从同步的流程或原理
	1）master会将变动记录到二进制日志里面；
    2）master有一个I/O线程将二进制日志发送到slave;
    3) slave有一个I/O线程把master发送的二进制写入到relay日志里面；
    4）slave有一个SQL线程，按照relay日志处理slave的数据；
# 2 

# 3 修改配置文件
####主库的配置文件，server-id和开启binlog日志
[mysqld]
user=mysql
character-set-server=utf8
default_authentication_plugin=mysql_native_password
secure_file_priv=/var/lib/mysql
expire_logs_days=7
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION
max_connections=1000
server-id=100   #核心
log-bin=mysql-bin  #核心
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8




#############从库的配置
####主库的配置文件，server-id和开启binlog日志
[mysqld]
user=mysql
character-set-server=utf8
default_authentication_plugin=mysql_native_password
secure_file_priv=/var/lib/mysql
expire_logs_days=7
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION
max_connections=1000
server-id=101    # 核心
log-bin=mysql-slave-bin  # 核心
relay_log=edu-mysql-relay-bin # 核心
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8

# 4 拉起两个mysql容器
#启动主库容器（挂载外部目录，端口映射成33307，密码设置为123456）
docker run  -di -v /home/mysql/data/:/var/lib/mysql -v /home/mysql/conf.d:/etc/mysql/conf.d -v /home/mysql/my.cnf:/etc/mysql/my.cnf -p 33307:3306 --name mysql-master -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7
#启动从库容器（挂载外部目录，端口映射成33306，密码设置为123456）
docker run  -di -v /home/mysql2/data/:/var/lib/mysql -v /home/mysql2/conf.d:/etc/mysql/conf.d -v /home/mysql2/my.cnf:/etc/mysql/my.cnf -p 33306:3306 --name mysql-slave -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7
                    
                    
#5  创建test用户，并授权
#在主库创建用户并授权
##创建test用户
create user 'test'@'%' identified by '123';
##授权用户
grant all privileges on *.* to 'test'@'%' ;
###刷新权限
flush privileges;
#查看主服务器状态(显示如下图)
show master status;
# 可以看到日志文件的名字，和现在处在哪个位置

#6 连接从库，配置连接主库
#连接从库
mysql -h 172.16.209.100 -P 33306 -u root -p123456
#配置详解
/*
change master to 
master_host='MySQL主服务器IP地址', 
master_user='之前在MySQL主服务器上面创建的用户名'， 
master_password='之前创建的密码', 
master_log_file='MySQL主服务器状态中的二进制文件名', 
master_log_pos='MySQL主服务器状态中的position值';
*/
#命令如下
change master to master_host='101.133.225.166',master_port=33307,master_user='test',master_password='123',master_log_file='mysql-bin.000003',master_log_pos=0;
#启用从库
start slave;
#查看从库状态（如下图）
show slave statusG;
####这两个是yes表示配成功
   Slave_IO_Running: Yes
   Slave_SQL_Running: Yes

# 7 测试
#在主库上创建数据库test1
create database test1;
use test1;
#创建表
create table tom (id int not null,name varchar(100)not null ,age tinyint);
#插入数据
insert tom (id,name,age) values(1,'xxx',20),(2,'yyy',7),(3,'zzz',23);

3 django实现读写分离

# 0 主从搭建好了
#1  在setting中配置
DATABASES = {
    # 主库
    'default': {
        'ENGINE': 'django.db.backends.mysql',
        'NAME': 'lqz1',
        'USER': 'root',
        'PASSWORD': '123456',
        'HOST': '101.133.225.166',
        'PORT': 33307,
    },
    # 从库
    'db1': {
        'ENGINE': 'django.db.backends.mysql',
        'NAME': 'lqz1',
        'USER': 'root',
        'PASSWORD': '123456',
        'HOST': '101.133.225.166',
        'PORT': 33306,
    },
}

# 2 手动指定
	####手动来做
    # 向default库写，主库
    # res=models.Book.objects.using('default').create(name='xxxx',price=33.4)
    # 去从库查
    # res=models.Book.objects.using('db1').all().first()
    # print(res.name)
 
# 3 自动指定（写router和配置setting）
	class Router1:
    def db_for_read(self, model, **hints):
        return 'db1'
    def db_for_write(self, model, **hints):
        return 'default'
    
    # 在setting中注册
    # 注册一下
	DATABASE_ROUTERS = ['db_router.Router1',]
# 4 以后只要是写操作，就会用default，只要是读操作自动去db1


# 5 更细粒度（）
class Router1:
    def db_for_read(self, model, **hints):
        if model._meta.model_name == 'book':
            return 'db1'
        else:
            return 'default'

    def db_for_write(self, model, **hints):
        return 'default'
    
# 6 在数据库迁移时，可以指定把哪个app的表结构迁移到哪个库
python manage.py migrate app01 --database=default