zoukankan      html  css  js  c++  java
  • 【数据库开发】Redis数据库服务器启动配置

    Redis简介

     

    redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sortedset --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。

     

    安装:

    安装Redis

    官方网站:http://redis.io/

    官方下载:http://redis.io/download 可以根据需要下载不同版本

    windows版:https://github.com/ServiceStack/redis-windows

     

    下载安装包:

     

    解压启动Redis

     

    解压redis64-2.8.17版本后,找到redis.windows.conf,修改配置文件内容,内容如下。

     

    支持数据结构

    redis提供五种数据类型:String,hash,list,set及zset(sortedset)。

     

    Redis配置文件主要参数配置

    1、指定Redis监听端口,默认端口为6379。

    port 6379

    2、绑定的主机地址

    bind 127.0.0.1

    3、当客户端闲置多长时间后关闭连接,如果指定为0,表示关闭该功能

    timeout 300

    4、指定日志记录级别,Redis总共支持四个级别:debug、verbose、notice、warning,默认为verbose。

    loglevel verbose

    5、日志记录方式,默认为标准输出,如果配置Redis为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则日志将会发送给/dev/null。

    logfile stdout

    6、设置数据库的数量,默认数据库为0,可以使用SELECT <dbid>命令在连接上指定数据库id。

    databases 16

    7、指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合。

    save <seconds><changes>

    8、Redis默认配置文件中提供了三个条件:

    save 900 1

    save 300 10

    save 60 10000

    分别表示900秒(15分钟)内有1个更改,300秒(5分钟)内有10个更改以及60秒内有10000个更改。

    9、指定存储至本地数据库时是否压缩数据,默认为yes,Redis采用LZF压缩,如果为了节省CPU时间,可以关闭该选项,但会导致数据库文件变的巨大。

    rdbcompression yes

    10、指定本地数据库文件名,默认值为dump.rdb。

    dbfilename dump.rdb

    11、 指定本地数据库存放目录。

    dir ./

    12、设置当本机为slave服务时,设置master服务的IP地址及端口,在Redis启动时,它会自动从master进行数据同步。

    slaveof <masterip><masterport>

    13、当master服务设置了密码保护时,slave服务连接master的密码。

    masterauth <master-password>

    14、设置Redis连接密码,如果配置了连接密码,客户端在连接Redis时需要通过AUTH <password>命令提供密码,默认关闭。

    requirepass foobared

    15、设置同一时间最大客户端连接数,默认无限制,Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis会关闭新的连接并向客户端返回max number of clientsreached错误信息。

    maxclients 128

    16、指定Redis最大内存限制,Redis在启动时会把数据加载到内存中,达到最大内存后,Redis会先尝试清除已到期或即将到期的Key,当此方法处理 后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis新的vm机制,会把Key存放内存,Value会存放在swap区。

    maxmemory <bytes>

    17、指定是否在每次更新操作后进行日志记录,Redis在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在一段时间内只存在于内存中。默认为no。

    appendonly no

    18、指定更新日志文件名,默认为appendonly.aof

    appendfilename appendonly.aof

    19、指定更新日志条件,共有3个可选值: 
    no:表示等操作系统进行数据缓存同步到磁盘(快) 
    always:表示每次更新操作后手动调用fsync()将数据写到磁盘(慢,安全) 
    everysec:表示每秒同步一次(折衷,默认值)

    appendfsync everysec

    20、 设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启

    glueoutputbuf yes

    21、指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法

    hash-max-zipmap-entries 64

    hash-max-zipmap-value 512

    22、指定是否激活重置哈希,默认为开启(后面在介绍Redis的哈希算法时具体介绍)。

    activerehashing yes

    23、slave根据指定的时间间隔向服务器发送ping请求。时间间隔可以通过 repl_ping_slave_period 来设置。默认10秒

    repl-ping-slave-period10

    24、当一个slave失去和master的连接,或者同步正在进行中,slave的行为有两种可能:

    (1) 如果 slave-serve-stale-data 设置为 "yes" (默认值),slave会继续响应客户端请求,可能是正常数据,也可能是还没获得值的空数据。

    (2) 如果 slave-serve-stale-data 设置为 "no",slave会回复"正在从master同步(SYNCwith master in progress)"来处理各种请求,除了 INFO 和 SLAVEOF 命令。

    slave-serve-stale-datayes

    25、Redis主从配置

    redis支持master-slave的主从配置,配置方法是在从机的配置文件中指定slaveof参数为主机的ip和port即可。

    slaveof 192.168.1.23 6379

    26、 指定包含其它的配置文件,可以在同一主机上多个Redis实例之间使用同一份配置文件,而同时各个实例又拥有自己的特定配置文件。

     include /path/to/local.conf

     include /path/to/other.conf

     

    Redis中常见异常处理以及内存CPU优化

     

    Redis常出现问题总结:

    1、当出现修改--maxheap and --heapdir

    在启动这两个版本时都会创建一个 RedisQFork.dat文件,我不确定 RedisQFork 文件是否变小一点, 但我确定, 你可以通过设置Redis启动参数 heapdir 来调整这个文件的位置。

    我在 redis.windows.conf文件中搜索"heapdir",然后在默认注释掉的内容下面添加一行,指定Redis内存映射文件(memory mapped file)存放的路径:

    2、redis常见异常处理

    1

    2

    3

    # heapdir指定内存映射文件路径名,不能是文件名

    # heapdir <directory path(absoluteorrelative)>

    heapdir D:/temp/redis_heapdir/

     

    具体文件和目录就请你根据自己的磁盘进行指定啦. 我的症状和情况是这样的, 16GB内存,Windows版64bit的Redis,启动Redis后就在C盘的C:WindowsServiceProfilesNetworkServiceAppDataLocalRedis目录下面生成一个16GB大小的 RedisQFork_8792.dat 文件(8792是本次启动的进程PID, 关闭redis 则此文件自动被删除). 本来当初为了省钱只上了64GB的固态硬盘,结果16G一吃下来,C盘就只有16GB空余空间,自从设置到D盘,重启以后,感觉强迫症就好多了。

     

    3、常见异常处理

    如果你遇到 Java.NET.SocketTimeoutException: Readtimed out exception的异常信息

    请尝试在构造JedisPool的时候设置自己的超时值. JedisPool默认的超时时间是2秒(单位毫秒)

    pool = new JedisPool(config, ip,port,RedisConfig.getTimeout());

     

     

    4、Redis中CPU使用效率优化

     

    将no-appendfsync-on-rewrite的配置设为yes可以缓解这个问题,设置为yes表示rewrite期间对新写操作不fsync,暂时存在内存中,等rewrite完成后再写入。

    最好是不开启Master的AOF备份功能。

    Redis也可以关闭自动持久化,注释掉这些save配置,或者save “”

    如果后台保存到磁盘发生错误,将停止写操作。

    stop-writes-on-bgsave-error yes。

    使用LZF压缩rdb文件,这会耗CPU, 但是可以减少磁盘占用。

    rdbcompression yes

    保存rdb和加载rdb文件的时候检验,可以防止错误,但是要付出约10%的性能,可以关闭他,提高性能。

    rdbchecksum yes

    5、当出现以下错误时:

    VirtualAlloc/COWAlloc fail! Out Of Memory allocating 42bytes!

     

    修改:maxmemory 1024000000

    maxheap 1024000000

    Redis客户端常用命令

     

    get key

    set  key value

    clear

    exists  key

    del key

    dbsize

    lpush  key value

    info all

    info

    monitor

    hgetall  key

     

    redis 127.0.0.1:6379> info  #查看server版本内存使用连接等信息

     

    redis 127.0.0.1:6379> client list  #获取客户连接列表

     

    redis 127.0.0.1:6379> client kill 127.0.0.1:33441 #终止某个客户端连接

     

    redis 127.0.0.1:6379> dbsize #当前保存key的数量

     

    redis 127.0.0.1:6379> save #立即保存数据到硬盘

     

    redis 127.0.0.1:6379> bgsave #异步保存数据到硬盘

     

    redis 127.0.0.1:6379> flushdb #当前库中移除所有key

     

    redis 127.0.0.1:6379> flushall #移除所有key从所有库中

     

    redis 127.0.0.1:6379> lastsave #获取上次成功保存到硬盘的时间戳

     

    redis 127.0.0.1:6379> monitor #实时监测服务器接收到的请求

     

    redis 127.0.0.1:6379> slowlog len #查询慢查询日志条数

     

    redis 127.0.0.1:6379> slowlog get #返回所有的慢查询日志,最大值取决于slowlog-max-len配置

     

    redis 127.0.0.1:6379> slowlog get 2 #打印两条慢查询日志

     

    redis 127.0.0.1:6379> slowlog reset #清空慢查询日志信息

  • 相关阅读:
    Linux定时任务
    linux文件权限
    grep awk sed 三剑客
    用户管理
    find查找inode号删除文件
    find 查找文件或目录 及du命令
    11、注册新用户
    10、密码扩展,使用Flask-Login认证用户
    9、大型程序的结构
    8、目前flask程序结构
  • 原文地址:https://www.cnblogs.com/huty/p/8517403.html
Copyright © 2011-2022 走看看