zoukankan      html  css  js  c++  java
  • Redis 使用说明 安装配置 主从复制

     
     
    开机加自启动:
    echo "redis-server /etc/redis.conf" >>/etc/rc.local 
     
    以前有想过用 Memcache 实现M/S架构的负载均衡方案,直到听说了 Redis 后才发现它做得更好。
    发了几天时间研究了一下 Redis ,感觉真的很不错,特整理一下!
     
    以下操作都是在 SUSE Linux 11 下安装了好了PHP为例子,如果安装过程中有提示缺少的包可以使用
    zypper search rpm-name 进行查询,然后用 zypper install rpm-name 安装
     
    一:memcache 和 Redis 对比总结
     
    [memecache 特点]
    1:速度最快(没有自测,但网上有详细的测试用例)
    2:支持水平扩展,可以任意添加节点
     
    [redis 特点]
    1:速度没有memcache快
    2:支持M/S的主从备份
    3:可以支持多数据库
    4:操作指令很丰富
    4:支持异步数据持久化(以文件保存)
     
    总结:
    1:如果是简单的数据缓存建议使用MEMCACHE。
    2:如果要对单一操作的数据量非常的大则使用MEMCACHE
    3: 如果想做性能很好的缓存集群可以用Redis(M/S读写分离,如weibo中的排行榜等)
    4: 如果在高并发下又想保存数据则可以用Redis (如更新热门文章浏览次数,memcachedb也不错)
     
    二:Redis 的详细安装,
     
    将 redis 安装到 /usr/local/webserver/redis
     
    1:从 http://redis.io/download 上下载安装包
     
    wget http://redis.googlecode.com/files/redis-2.2.15.tar.gz
    tar zxvf redis-2.2.15.tar.gz
    cd redis-2.2.15
    make
     
    mkdir -p /usr/local/webserver/redis/conf
    mkdir -p /usr/local/webserver/redis/run
    mkdir -p /usr/local/webserver/redis/db
    cp redis.conf /usr/local/webserver/redis/conf/
    cd src
    # 将 src 目录下所有可执行文件复制到安装目录
    cp redis-benchmark redis-check-aof redis-check-dump redis-cli redis-server mkreleasehdr.sh /usr/local/webserver/redis/
     
    2:修改配置文件中的如下选项 
    ------- vi /usr/local/webserver/redis/conf/redis.conf --------
    daemonize yes
    pidfile /usr/local/webserver/redis/run/redis.pid
    dir /usr/local/webserver/redis/db
    --------------------------------------------------------------
     ps:配置文件说明 来自网络
    [redis 配置说明--来自网络]
     
    1. Redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程
        daemonize no
    2. 当Redis以守护进程方式运行时,Redis默认会把pid写入/var/run/redis.pid文件,可以通过pidfile指定
        pidfile /var/run/redis.pid
    3. 指定Redis监听端口,默认端口为6379,作者在自己的一篇博文中解释了为什么选用6379作为默认端口,因为6379在手机按键上MERZ对应的号码,而MERZ取自意大利歌女Alessia Merz的名字
        port 6379
    4. 绑定的主机地址
        bind 127.0.0.1
    5.当 客户端闲置多长时间后关闭连接,如果指定为0,表示关闭该功能
        timeout 300
    6. 指定日志记录级别,Redis总共支持四个级别:debug、verbose、notice、warning,默认为verbose
        loglevel verbose
    7. 日志记录方式,默认为标准输出,如果配置Redis为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则日志将会发送给/dev/null
        logfile stdout
    8. 设置数据库的数量,默认数据库为0,可以使用SELECT <dbid>命令在连接上指定数据库id
        databases 16
    9. 指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合
        save <seconds> <changes>
        Redis默认配置文件中提供了三个条件:
        save 900 1
        save 300 10
        save 60 10000
        分别表示900秒(15分钟)内有1个更改,300秒(5分钟)内有10个更改以及60秒内有10000个更改。
     
    10. 指定存储至本地数据库时是否压缩数据,默认为yes,Redis采用LZF压缩,如果为了节省CPU时间,可以关闭该选项,但会导致数据库文件变的巨大
        rdbcompression yes
    11. 指定本地数据库文件名,默认值为dump.rdb
        dbfilename dump.rdb
    12. 指定本地数据库存放目录
        dir ./
    13. 设置当本机为slav服务时,设置master服务的IP地址及端口,在Redis启动时,它会自动从master进行数据同步
        slaveof <masterip> <masterport>
    14. 当master服务设置了密码保护时,slav服务连接master的密码
        masterauth <master-password>
    15. 设置Redis连接密码,如果配置了连接密码,客户端在连接Redis时需要通过AUTH <password>命令提供密码,默认关闭
        requirepass foobared
    16. 设置同一时间最大客户端连接数,默认无限制,Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis会关闭新的连接并向客户端返回max number of clients reached错误信息
        maxclients 128
    17. 指定Redis最大内存限制,Redis在启动时会把数据加载到内存中,达到最大内存后,Redis会先尝试清除已到期或即将到期的Key,当此方法处理 后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis新的vm机制,会把Key存放内存,Value会存放在swap区
        maxmemory <bytes>
    18. 指定是否在每次更新操作后进行日志记录,Redis在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在一段时间内只存在于内存中。默认为no
        appendonly no
    19. 指定更新日志文件名,默认为appendonly.aof
         appendfilename appendonly.aof
    20. 指定更新日志条件,共有3个可选值: 
        no:表示等操作系统进行数据缓存同步到磁盘(快) 
        always:表示每次更新操作后手动调用fsync()将数据写到磁盘(慢,安全) 
        everysec:表示每秒同步一次(折衷,默认值)
        appendfsync everysec
     
    21. 指定是否启用虚拟内存机制,默认值为no,简单的介绍一下,VM机制将数据分页存放,由Redis将访问量较少的页即冷数据swap到磁盘上,访问多的页面由磁盘自动换出到内存中(在后面的文章我会仔细分析Redis的VM机制)
         vm-enabled no
    22. 虚拟内存文件路径,默认值为/tmp/redis.swap,不可多个Redis实例共享
         vm-swap-file /tmp/redis.swap
    23. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0
         vm-max-memory 0
    24. Redis swap文件分成了很多的page,一个对象可以保存在多个page上面,但一个page上不能被多个对象共享,vm-page-size是要根据存储的 数据大小来设定的,作者建议如果存储很多小对象,page大小最好设置为32或者64bytes;如果存储很大大对象,则可以使用更大的page,如果不 确定,就使用默认值
         vm-page-size 32
    25. 设置swap文件中的page数量,由于页表(一种表示页面空闲或使用的bitmap)是在放在内存中的,,在磁盘上每8个pages将消耗1byte的内存。
         vm-pages 134217728
    26. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的,可能会造成比较长时间的延迟。默认值为4
         vm-max-threads 4
    27. 设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启
        glueoutputbuf yes
    28. 指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法
        hash-max-zipmap-entries 64
        hash-max-zipmap-value 512
    29. 指定是否激活重置哈希,默认为开启(后面在介绍Redis的哈希算法时具体介绍)
        activerehashing yes
    30. 指定包含其它的配置文件,可以在同一主机上多个Redis实例之间使用同一份配置文件,而同时各个实例又拥有自己的特定配置文件
        include /path/to/local.conf
    3:创建服务脚本
     
    ------- vi /usr/local/webserver/redis/start.sh ---------
    #!/bin/bash
    /usr/local/webserver/redis/redis-server /usr/local/webserver/redis/conf/redis.conf
    --------------------------------------------------------
     
    ------- vi /usr/local/webserver/redis/stop.sh ---------
    #!/bin/bash
    kill `cat /usr/local/webserver/redis/run/redis.pid`
    --------------------------------------------------------
     
    chmod a+x /usr/local/webserver/redis/start.sh /usr/local/webserver/redis/stop.sh
     
     
    4:启动 redis 服务
    /usr/local/webserver/redis/start.sh
    验证证服务是否成功: 
    netstat -nlpt | grep 6379
     
    5:启动客户端验证
    /usr/local/webserver/redis/redis-cli
    >set key1 val1
    >get key1
     
     
    三:Redis Master/Slave 主从集群配置
     
    这里我们以本机配置 1台Master + 2台Slave 为例子,其中:
     
    Master IP:127.0.0.1  PORT:6379
    Slave1 IP:127.0.0.1  PORT:63791
    Slave2 IP:127.0.0.1  PORT:63792
     
    1:复制两个 Slave 目录,方便管理
    cp -r /usr/local/webserver/redis /usr/local/webserver/redis-slave1
    cp -r /usr/local/webserver/redis /usr/local/webserver/redis-slave2
     
    2:修改 redis-slave1 的配置文件和服务脚本
    -- vi /usr/local/webserver/redis-slave1/conf/redis.conf --
    port 63791
    pidfile /usr/local/webserver/redis-slave1/run/redis.pid
    dir /usr/local/webserver/redis-slave1/db
    slaveof 127.0.0.1 6379
    ----------------------------------------------------------
     
    -- vi /usr/local/webserver/redis-slave1/start.sh --
    #!/bin/bash
    /usr/local/webserver/redis-slave1/redis-server /usr/local/webserver/redis-slave1/conf/redis.conf
    ---------------------------------------------------
     
    ------- vi /usr/local/webserver/redis-slave1/stop.sh ---------
    #!/bin/bash
    kill `cat /usr/local/webserver/redis-slave1/run/redis.pid`
    --------------------------------------------------------
     
    3:修改 redis-slave2 的配置文件和服务脚本
    -- vi /usr/local/webserver/redis-slave2/conf/redis.conf --
    port 63792
    pidfile /usr/local/webserver/redis-slave2/run/redis.pid
    dir /usr/local/webserver/redis-slave2/db
    slaveof 127.0.0.1 6379
    ----------------------------------------------------------
     
    -- vi /usr/local/webserver/redis-slave2/start.sh --
    #!/bin/bash
    /usr/local/webserver/redis-slave2/redis-server /usr/local/webserver/redis-slave2/conf/redis.conf
    ---------------------------------------------------
     
    ------- vi /usr/local/webserver/redis-slave2/stop.sh ---------
    #!/bin/bash
    kill `cat /usr/local/webserver/redis-slave2/run/redis.pid`
    --------------------------------------------------------
     
    4:启动 M/S 服务
    /usr/local/webserver/redis/start.sh
    /usr/local/webserver/redis-slave1/start.sh
    /usr/local/webserver/redis-slave2/start.sh
    验证服务是否正常: netstat -nlpt | grep redis-server 有3个端口存在证明成功了
    0 0.0.0.0:6379  
    0 0.0.0.0:63791 
    0 0.0.0.0:63792 
     
    5:验证M/S服务是否生效
    /usr/local/webserver/redis/redis-cli [默认连接端口:6379 的 Master服务]
    >set key1 val1
    >quit
     
    /usr/local/webserver/redis/redis-cli -p 63791 [连接 Slave1 服务]
    >get key1
    "val1" (数据成功同步了)
     
    /usr/local/webserver/redis/redis-cli -p 63792 [连接 Slave2 服务]
    >get key1
    "val1" (数据成功同步了)
     
     
    四:安装 Redis PHP 扩展
     
    Redis所有的客户端在 http://redis.io/clients [PHP选项卡] 基于性能选择安装 phpredis 
     
    在 https://github.com/nicolasff/phpredis/downloads 上下载源代码包到本地然后上传到服务器.
     
    tar zxvf nicolasff-phpredis-2.1.3-167-ga5e53f1.tar.gz 
    cd nicolasff-phpredis-a5e53f1
    phpize
     
    如果出现:
    Configuring for:
    PHP Api Version:         20041225
    Zend Module Api No:      20060613
    Zend Extension Api No:   220060519
    Cannot find autoconf. Please check your autoconf installation and the  $PHP_AUTOCONF  environment variable is set correctly and then rerun this script.
     
    用下面的方法解决:
    # wget http://ftp.gnu.org/gnu/m4/m4-1.4.9.tar.gz
    # tar -zvxf m4-1.4.9.tar.gz
    # cd m4-1.4.9/
    # ./configure && make && make install
    # cd ../
    # wget http://ftp.gnu.org/gnu/autoconf/autoconf-2.62.tar.gz
    # tar -zvxf autoconf-2.62.tar.gz
    # cd autoconf-2.62/
    # ./configure && make && make install
     
    ./configure --with-php-config=/usr/local/php/bin/php-config 
    make && make install
     
    查看输出信息会告诉你 redis.so 的那个目录下,把它复制到PHP的扩展目录下
    我的系统上是 /usr/lib/php5/extensions/
     
    用 php --ini 找到 php.ini 的位置,加入以下行后重启WEB服务器
    =========================
    extension=redis.so
    =========================
     
     
    五:PHP负载开发方案
    <?php
    /**
     * Redis 操作,支持 Master/Slave 的负载集群
     *
     * @author V哥
     */
    class RedisCluster{
     
        // 是否使用 M/S 的读写集群方案
        private $_isUseCluster = false;
     
        // Slave 句柄标记
        private $_sn = 0;
     
        // 服务器连接句柄
        private $_linkHandle = array(
            'master'=>null,// 只支持一台 Master
            'slave'=>array(),// 可以有多台 Slave
        );
     
        /**
         * 构造函数
         *
         * @param boolean $isUseCluster 是否采用 M/S 方案
         */
        public function __construct($isUseCluster=false){
            $this->_isUseCluster = $isUseCluster;
        }
     
        /**
         * 连接服务器,注意:这里使用长连接,提高效率,但不会自动关闭
         *
         * @param array $config Redis服务器配置
         * @param boolean $isMaster 当前添加的服务器是否为 Master 服务器
         * @return boolean
         */
        public function connect($config=array('host'=>'127.0.0.1','port'=>6379), $isMaster=true){
            // default port
            if(!isset($config['port'])){
                $config['port'] = 6379;
            }
            // 设置 Master 连接
            if($isMaster){
                $this->_linkHandle['master'] = new Redis();
                $ret = $this->_linkHandle['master']->pconnect($config['host'],$config['port']);
            }else{
                // 多个 Slave 连接
                $this->_linkHandle['slave'][$this->_sn] = new Redis();
                $ret = $this->_linkHandle['slave'][$this->_sn]->pconnect($config['host'],$config['port']);
                ++$this->_sn;
            }
            return $ret;
        }
     
        /**
         * 关闭连接
         *
         * @param int $flag 关闭选择 0:关闭 Master 1:关闭 Slave 2:关闭所有
         * @return boolean
         */
        public function close($flag=2){
            switch($flag){
                // 关闭 Master
                case 0:
                    $this->getRedis()->close();
                break;
                // 关闭 Slave
                case 1:
                    for($i=0; $i<$this->_sn; ++$i){
                        $this->_linkHandle['slave'][$i]->close();
                    }
                break;
                // 关闭所有
                case 1:
                    $this->getRedis()->close();
                    for($i=0; $i<$this->_sn; ++$i){
                        $this->_linkHandle['slave'][$i]->close();
                    }
                break;
            }
            return true;
        }
     
        /**
         * 得到 Redis 原始对象可以有更多的操作
         *
         * @param boolean $isMaster 返回服务器的类型 true:返回Master false:返回Slave
         * @param boolean $slaveOne 返回的Slave选择 true:负载均衡随机返回一个Slave选择 false:返回所有的Slave选择
         * @return redis object
         */
        public function getRedis($isMaster=true,$slaveOne=true){
            // 只返回 Master
            if($isMaster){
                return $this->_linkHandle['master'];
            }else{
                return $slaveOne ? $this->_getSlaveRedis() : $this->_linkHandle['slave'];
            }
        }
     
        /**
         * 写缓存
         *
         * @param string $key 组存KEY
         * @param string $value 缓存值
         * @param int $expire 过期时间, 0:表示无过期时间
         */
        public function set($key, $value, $expire=0){
            // 永不超时
            if($expire == 0){
                $ret = $this->getRedis()->set($key, $value);
            }else{
                $ret = $this->getRedis()->setex($key, $expire, $value);
            }
            return $ret;
        }
     
        /**
         * 读缓存
         *
         * @param string $key 缓存KEY,支持一次取多个 $key = array('key1','key2')
         * @return string || boolean  失败返回 false, 成功返回字符串
         */
        public function get($key){
            // 是否一次取多个值
            $func = is_array($key) ? 'mGet' : 'get';
            // 没有使用M/S
            if(! $this->_isUseCluster){
                return $this->getRedis()->{$func}($key);
            }
            // 使用了 M/S
            return $this->_getSlaveRedis()->{$func}($key);
        }
     
        /**
         * 条件形式设置缓存,如果 key 不存时就设置,存在时设置失败
         *
         * @param string $key 缓存KEY
         * @param string $value 缓存值
         * @return boolean
         */
        public function setnx($key, $value){
            return $this->getRedis()->setnx($key, $value);
        }
     
        /**
         * 删除缓存
         *
         * @param string || array $key 缓存KEY,支持单个健:"key1" 或多个健:array('key1','key2')
         * @return int 删除的健的数量
         */
        public function remove($key){
            // $key => "key1" || array('key1','key2')
            return $this->getRedis()->delete($key);
        }
     
        /**
         * 值加加操作,类似 ++$i ,如果 key 不存在时自动设置为 0 后进行加加操作
         *
         * @param string $key 缓存KEY
         * @param int $default 操作时的默认值
         * @return int 操作后的值
         */
        public function incr($key,$default=1){
            if($default == 1){
                return $this->getRedis()->incr($key);
            }else{
                return $this->getRedis()->incrBy($key, $default);
            }
        }
     
        /**
         * 值减减操作,类似 --$i ,如果 key 不存在时自动设置为 0 后进行减减操作
         *
         * @param string $key 缓存KEY
         * @param int $default 操作时的默认值
         * @return int 操作后的值
         */
        public function decr($key,$default=1){
            if($default == 1){
                return $this->getRedis()->decr($key);
            }else{
                return $this->getRedis()->decrBy($key, $default);
            }
        }
     
        /**
         * 添空当前数据库
         *
         * @return boolean
         */
        public function clear(){
            return $this->getRedis()->flushDB();
        }
     
        /* =================== 以下私有方法 =================== */
     
        /**
         * 随机 HASH 得到 Redis Slave 服务器句柄
         *
         * @return redis object
         */
        private function _getSlaveRedis(){
            // 就一台 Slave 机直接返回
            if($this->_sn <= 1){
                return $this->_linkHandle['slave'][0];
            }
            // 随机 Hash 得到 Slave 的句柄
            $hash = $this->_hashId(mt_rand(), $this->_sn);
            return $this->_linkHandle['slave'][$hash];
        }
     
        /**
         * 根据ID得到 hash 后 0~m-1 之间的值
         *
         * @param string $id
         * @param int $m
         * @return int
         */
        private function _hashId($id,$m=10)
        {
            //把字符串K转换为 0~m-1 之间的一个值作为对应记录的散列地址
            $k = md5($id);
            $l = strlen($k);
            $b = bin2hex($k);
            $h = 0;
            for($i=0;$i<$l;$i++)
            {
                //相加模式HASH
                $h += substr($b,$i*2,2);
            }
            $hash = ($h*1)%$m;
            return $hash;
        }
     
    }// End Class
     
    // ================= TEST DEMO =================
     
    // 只有一台 Redis 的应用
    $redis = new RedisCluster();
    $redis->connect(array('host'=>'127.0.0.1','port'=>6379));
    $redis->set('id',35);
    var_dump($redis->get('id'));
     
     
    // 有一台 Master 和 多台Slave 的集群应用
    $redis = new RedisCluster(true);
    $redis->connect(array('host'=>'127.0.0.1','port'=>6379), true);// master
    $redis->connect(array('host'=>'127.0.0.1','port'=>63791), false);// slave 1
    $redis->connect(array('host'=>'127.0.0.1','port'=>63792), false);// slave 2
    $redis->set('id',100);
    for($i=1; $i<=100; ++$i){
        var_dump($redis->get('id')).PHP_EOL;
    }
     
    // phpRedis 扩展的更多高级操作
    $redis = new RedisCluster();
    $redis->connect(array('host'=>'127.0.0.1','port'=>6379));
    $ret = $redis->getRedis()->ping();// phpRedis 原始API
    var_dump($ret);
     
     
     
     
     
    [phpReadis API手册]
    https://github.com/nicolasff/phpredis
     
     
     
     
    参考资料:

    启动安装:  http://elain.blog.51cto.com/3339379/705846

    redis下载:  https://github.com/nicolasff/phpredis/downloads
    多台服务安装:   http://www.vquickphp.com/?a=blogview&id=30
    http://www.cnblogs.com/jshen/archive/2013/07/05/3173729.html
  • 相关阅读:
    11111 Generalized Matrioshkas
    Uva 442 Matrix Chain Multiplication
    Uva 10815 Andy's First Dictionary
    Uva 537 Artificial Intelligence?
    Uva 340 MasterMind Hints
    SCAU 9508 诸葛给我牌(水泥题)
    Uva 10420 List of Conquests(排序水题)
    Uva 409 Excuses, Excuses!
    10/26
    11/2
  • 原文地址:https://www.cnblogs.com/dragonflyer/p/6106348.html
Copyright © 2011-2022 走看看