第一章:redis
1.1-什么是NoSql
概述
NoSQL,泛指非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系数据库在处理web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,出现了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题。
主流的Nosql
键值(Key-Value)存储数据库
- 相关产品: Tokyo Cabinet/Tyrant、Redis、Voldemort、Berkeley DB
- 典型应用: 内容缓存,主要用于处理大量数据的高访问负载。
- 数据模型: 一系列键值对
- 优势: 快速查询
- 劣势: 存储的数据缺少结构化
列存储数据库
- 相关产品:Cassandra, HBase, Riak
- 典型应用:分布式的文件系统
- 数据模型:以列簇式存储,将同一列数据存在一起
- 优势:查找速度快,可扩展性强,更容易进行分布式扩展
- 劣势:功能相对局限
文档型数据库
- 相关产品:CouchDB、MongoDB
- 典型应用:Web应用(与Key-Value类似,Value是结构化的)
- 数据模型: 一系列键值对
- 优势:数据结构要求不严格
- 劣势: 查询性能不高,而且缺乏统一的查询语法
图形(Graph)数据库
-
相关数据库:Neo4J、InfoGrid、Infinite Graph
-
典型应用:社交网络
-
数据模型:图结构
-
优势:利用图结构相关算法
-
劣势:需要对整个图做计算才能得出结果,不容易做分布式的集群方案。
1.2-NoSql和关系型数据库
NOSQL
优点:
- 成本:nosql数据库简单易部署,基本都是开源软件,不需要像使用oracle那样花费大量成本购买使用,相比关系型数据库价格便宜。
- 查询速度:nosql数据库将数据存储于缓存之中,关系型数据库将数据存储在硬盘中,自然查询速度远不及nosql数据库。
- 存储数据的格式:nosql的存储格式是key,value形式、文档形式、图片形式等等,所以可以存储基础类型以及对象或者是集合等各种格式,而数据库则只支持基础类型。
- 扩展性:关系型数据库有类似join这样的多表查询机制的限制导致扩展很艰难
缺点:
- 维护的工具和资料有限,因为nosql是属于新的技术,不能和关系型数据库10几年的技术同日而语。
- 不提供对sql的支持,如果不支持sql这样的工业标准,将产生一定用户的学习和使用成本。
- 不提供关系型数据库对事务的处理。
非关系型数据库的优势
- 性能NOSQL是基于键值对的,可以想象成表中的主键和值的对应关系,而且不需要经过SQL层的解析,所以性能非常高。
- 可扩展性同样也是因为基于键值对,数据之间没有耦合性,所以非常容易水平扩展。
关系型数据库的优势
- 复杂查询可以用SQL语句方便的在一个表以及多个表之间做非常复杂的数据查询。
- 事务支持使得对于安全性能很高的数据访问要求得以实现。对于这两类数据库,对方的优势就是自己的弱势,反之亦然。
总结
关系型数据库与NoSQL数据库并非对立而是互补的关系,即通常情况下使用关系型数据库,在适合使用NoSQL的时候使用NoSQL数据库,让NoSQL数据库对关系型数据库的不足进行弥补。
一般会将数据存储在关系型数据库中,在nosql数据库中备份存储关系型数据库的数据。
1.3-Redis
概述
REmote DIctionary Server(Redis) redis是一个key-value存储系统(nosql非关系型数据库)。
它支持存储的value类型相对更多,包括
- string(字符串)
- list(链表)
- set(集合)
- zset(sorted set --有序集合)
- hash(哈希类型) 。
为了保证效率,数据都是缓存在内存中。 redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步 。
应用场景
-
缓存(数据查询、短连接、新闻内容、商品内容等等)
-
聊天室的在线好友列表
-
任务队列。(秒杀、抢购、12306等等)
-
应用排行榜
-
网站访问统计
-
数据过期处理(可以精确到毫秒
-
分布式集群架构中的session分离
1.4-Redis下载和安装
下载
官方网站:https://redis.io
中文网站:http://www.redis.cn
安装
直接解压即可
使用
启动服务端
启动客户端
1.5-Redis常用命令操作
以下命令是对Reids数据库中的不同类型的数据的操作相关
操作字符串String
命令:
- 存储:
set key value
- 获取:
get key
- 删除:
del key
代码:
127.0.0.1:6379> set name LiLei
OK
127.0.0.1:6379> get name
"LiLei"
127.0.0.1:6379> del name
(integer) 1
127.0.0.1:6379> get name
(nil)
127.0.0.1:6379>
操作链表List
命令:
- 添加
lpush key value
: 将元素加入列表左表rpush key value
:将元素加入列表右边
- 获取
lrange key start end
:范围获取
- 删除
lpop key
: 删除列表最左边的元素,并将元素返回rpop key
: 删除列表最右边的元素,并将元素返回
代码:
127.0.0.1:6379> lpush names Andy
(integer) 1
127.0.0.1:6379> lpush names Lucy
(integer) 2
127.0.0.1:6379> rpush names Rose
(integer) 3
127.0.0.1:6379> rpush names Jake
(integer) 4
127.0.0.1:6379> lrange names 0 -1
1) "Lucy"
2) "Andy"
3) "Rose"
4) "Jake"
127.0.0.1:6379> lpop names
"Lucy"
127.0.0.1:6379> rpop names
"Jake"
127.0.0.1:6379> lrange names 0 -1
1) "Andy"
2) "Rose"
127.0.0.1:6379>
操作集合Set
命令:
- 添加:sadd key value
- 获取:smembers key,获取set集合中所有元素
- 删除:srem key value,删除set集合中的某个元素
代码:
127.0.0.1:6379> sadd nums 1
(integer) 1
127.0.0.1:6379> sadd nums 2
(integer) 1
127.0.0.1:6379> sadd nums 3
(integer) 1
127.0.0.1:6379> sadd nums 11
(integer) 1
127.0.0.1:6379> smembers nums
1) "1"
2) "2"
3) "3"
4) "11"
127.0.0.1:6379> srem nums 11
(integer) 1
127.0.0.1:6379> smembers nums
1) "1"
2) "2"
3) "3"
127.0.0.1:6379>
操作有序集合sorted set
命令:
- 添加:
zadd key score value
- 获取:
zrange key start end [withscores]
- 删除:
zrem key value
代码:
127.0.0.1:6379> zadd salarys 1 1000
(integer) 1
127.0.0.1:6379> zadd salarys 2 2000
(integer) 1
127.0.0.1:6379> zadd salarys 3 3000
(integer) 1
127.0.0.1:6379> zrange salarys 0 -1
1) "1000"
2) "2000"
3) "3000"
127.0.0.1:6379> zrem salarys 3000
(integer) 1
127.0.0.1:6379> zrange salarys 0 -1 withscores
1) "1000"
2) "1"
3) "2000"
4) "2"
操作哈希结构
命令:
- 添加:
hset key field value
- 获取:
hget key field
: 获取指定的field对应的值hgetall key
:获取所有的field和value
- 删除:
hdel key field
代码:
127.0.0.1:6379> hset user name Bruce
(integer) 1
127.0.0.1:6379> hset user age 10
(integer) 1
127.0.0.1:6379> hset user sex man
(integer) 1
127.0.0.1:6379> hget user age
"10"
127.0.0.1:6379> hgetall user
1) "name"
2) "Bruce"
3) "age"
4) "10"
5) "sex"
6) "man"
127.0.0.1:6379> hdel user sex
(integer) 1
127.0.0.1:6379> hgetall user
1) "name"
2) "Bruce"
3) "age"
4) "10"
1.6-Redis通用命令
keys *
: 查询所有的键type key
: 获取键对应的value的类型del key
:删除指定的key valueflushall
:清空整个redis
127.0.0.1:6379> keys *
1) "salarys"
2) "nums"
3) "user"
4) "names"
127.0.0.1:6379> type names
list
127.0.0.1:6379> type user
hash
127.0.0.1:6379> type salarys
zset
127.0.0.1:6379> type nums
set
127.0.0.1:6379> del salarys
(integer) 1
127.0.0.1:6379> keys *
1) "nums"
2) "user"
3) "names"
127.0.0.1:6379>
1.7-Redis持久化
redis是一个内存数据库,当redis服务器重启,获取电脑重启,数据会丢失,我们可以将redis内存中的数据持久化保存到硬盘的文件中。
方式1: RDB:默认方式,不需要进行配置,默认就使用这种机制
在一定的间隔时间中,检测key的变化情况,然后持久化数据
可以通过修改redis.windwos.conf
文件设置
# after 900 sec (15 min) if at least 1 key changed
save 900 1
# after 300 sec (5 min) if at least 10 keys changed
save 300 10
# after 60 sec if at least 10000 keys changed
save 60 10000
重新启动redis服务器,并指定配置文件名称:redis-server.exe redis.windows.conf
方式2: AOF:日志记录的方式,可以记录每一条命令的操作。可以每一次命令操作后,持久化数据
编辑redis.windwos.conf文件
# appendonly no(关闭aof) --> appendonly yes (开启aof)
# appendfsync no不进行持久化
appendonly yes
# appendfsync always : 每一次操作都进行持久化
appendfsync everysec : 每隔一秒进行一次持久化
第二章:Jedis
Jedis: 一款java操作redis数据库的工具
2.1 快速入门
下载jar包
链接:https://pan.baidu.com/s/1CoTLQxcpUkb18KaNyS4YuA
提取码:zzr2
代码
package cn.redisDemo.test;
import org.junit.Test;
import redis.clients.jedis.Jedis;
public class Test01 {
@Test
public void test01 (){
// 创建jedis对象
Jedis jedis = new Jedis("127.0.0.1",6379);
jedis.set("userName","Tom");
jedis.close();
}
}
2.2-Jedis操作redis
使用步骤
- 创建Jedis对象:
Jedis jedis = new Jedis(host,port);
- 调用方法操作数据结构。
- 设置时效:jedis.expire(key, seconds);
- 操作字符串
- 设置:set(key,value);
- 获取:get(key);
- 删除:del(key);
- 操作列表
- lpush(key,...value);
- rpush(key,...value);
- lpop(key,value);
- rpop(key,value);
- lrange(key,start,end);
- 操作hash
- hset(key,field,value);
- hdel(key,field);
- hget(key,field);
- hgetAll(key);
- 操作set
- sadd(key,..value);
- srem(key,value);
- smembers(key);
- 操作sorted set
- zadd(key,score,value);
- zrem(key,value);
- zrange(key,start,end);
- 关闭连接
代码
package cn.redisDemo.test;
import org.junit.Test;
import redis.clients.jedis.Jedis;
import java.util.List;
import java.util.Map;
import java.util.Set;
public class Test01 {
@Test
public void test01 (){
// 创建jedis对象
Jedis jedis = new Jedis("127.0.0.1",6379);
// 【操作字符串】
jedis.set("userName","Tom");
System.out.println(jedis.get("userName")); // Tom
jedis.del("userName");
System.out.println(jedis.get("userName")); // null
// 【操作列表List】
jedis.lpush("names","张三","李四");
jedis.rpush("names","朵朵","海棠");
List<String> list = jedis.lrange("names", 0, -1);
System.out.println(list); // [李四, 张三, 朵朵, 海棠]
jedis.lpop("names");
jedis.rpop("names");
list = jedis.lrange("names", 0, -1);
System.out.println(list); // [张三, 朵朵]
// 【操作set】
jedis.sadd("nums","1000","2000","3000");
Set<String> nums = jedis.smembers("nums");
System.out.println(nums); // [1000, 2000, 3000]
jedis.srem("nums","3000");
nums = jedis.smembers("nums");
System.out.println(nums); // [1000, 2000]
// 【操作sorted set】
jedis.zadd("id",1,"110");
jedis.zadd("id",2,"120");
jedis.zadd("id",3,"114");
Set<String> ids = jedis.zrange("id", 0, -1);
System.out.println(ids); // [110, 120, 114]
jedis.zrem("id","110");
ids = jedis.zrange("id", 0, -1);
System.out.println(ids); // [120, 114]
// 【操作hash】
jedis.hset("users","1","{"name":"Bruce","age":10}");
jedis.hset("users","2","{"name":"Andy","age":10}");
jedis.hset("users","3","{"name":"Jake","age":10}");
Map<String, String> users = jedis.hgetAll("users");
System.out.println(users); // {1={"name":"Bruce","age":10}, 2={"name":"Andy","age":10}, 3={"name":"Jake","age":10}}
jedis.hdel("users","1");
users = jedis.hgetAll("users");
System.out.println(users); // {2={"name":"Andy","age":10}, 3={"name":"Jake","age":10}}
jedis.close();
}
}
2.3-Jedis连接池
JedisPool
package cn.redisDemo.test;
import org.junit.Test;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
public class Test02 {
JedisPool pool = new JedisPool("127.0.0.1",6379);
@Test
public void test01(){
// 从连接池中获取Jedis对象
Jedis jedis = pool.getResource();
// 使用
jedis.set("name","Bruce");
System.out.println(jedis.get("name"));
// 归还到连接池
jedis.close();
}
}
Jedis连接池工具类
配置文件:jedis配置文件
host=127.0.0.1
port=6379
maxTotal=50
maxIdle=10
更多配置:
#最大活动对象数
redis.pool.maxTotal=1000
#最大能够保持idel状态的对象数
redis.pool.maxIdle=100
#最小能够保持idel状态的对象数
redis.pool.minIdle=50
#当池内没有返回对象时,最大等待时间
redis.pool.maxWaitMillis=10000
#当调用borrow Object方法时,是否进行有效性检查
redis.pool.testOnBorrow=true
#当调用return Object方法时,是否进行有效性检查
redis.pool.testOnReturn=true
#“空闲链接”检测线程,检测的周期,毫秒数。如果为负值,表示不运行“检测线程”。默认为-1.
redis.pool.timeBetweenEvictionRunsMillis=30000
#向调用者输出“链接”对象时,是否检测它的空闲超时;
redis.pool.testWhileIdle=true
# 对于“空闲链接”检测线程而言,每次检测的链接资源的个数。默认为3.
redis.pool.numTestsPerEvictionRun=50
#redis服务器的IP
redis.ip=xxxxxx
#redis服务器的Port
redis1.port=6379
工具类代码:
package cn.redisDemo.test;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;
import java.io.IOException;
import java.io.InputStream;
import java.util.Properties;
public class JedisUtil {
private static JedisPool pool = null;
static {
InputStream resourceAsStream = JedisUtil.class.getClassLoader().getResourceAsStream("jedis.properties");
Properties pro = new Properties();
try {
pro.load(resourceAsStream);
} catch (IOException e) {
e.printStackTrace();
}
// 设置JedisPoolConfig
JedisPoolConfig config = new JedisPoolConfig();
config.setMaxTotal(Integer.parseInt(pro.getProperty("maxTotal")));
config.setMaxIdle(Integer.parseInt(pro.getProperty("maxIdle")));
// 创建连接池对象
pool = new JedisPool(config,pro.getProperty("host"),Integer.parseInt(pro.getProperty("port")));
}
// 获取Jedis连接对象
public static Jedis getJedis(){
return pool.getResource();
}
}
测试类
package cn.redisDemo.test;
import org.junit.Test;
import redis.clients.jedis.Jedis;
public class Test02 {
@Test
public void test01(){
Jedis jedis = JedisUtil.getJedis();
String name = jedis.get("name");
System.out.println(name);
jedis.close();
}
}