Ameba读写分离_mycat分库分表_redis缓存

1 数据库的读写分离

1.1 Amoeba实现读写分离

1.1.1 定义

Amoeba是一个以MySQL为底层数据存储，并对应用提供MySQL协议接口的proxy

优点:

1. 配置读写分离时较为简单.配置文件编写方便
2. 可以做到整个数据库的读写分离
3. 占用的资源较少.

缺点:

1. 不能实现高可用
2. 现在不更新维护了

1.2 搭建amoeba

1.2.1 安装JDK

说明:Amoeba的使用依赖于JDK.

1.2.2 安装Amoeba

说明:将Amoeba文件拖入/usr/local/src/

将其解压

1.2.3 使用工具修改xml

通过工具连接远程的amoeba虚拟机

1.3 修改DBServer.xml

1.3.1 修改用户名和密码

1.3.2 配置数据库服务

说明:定义主数据库的IP地址

 

1.3.3 定义读操作策略

 

1.4 Amoeba配置

1.4.1 修改Amoeba.xml文件

说明:

默认的amoeba访问主库.

如果配置了读写分离则采用读写分离的操作数据库

所有的写库操作访问主数据库.

所有的读操作,访问multiPool负载均衡后的数据库slave,master,salve

Amoeba默认的访问端口是8066

1.5 修改JVM内存

1.5.1 修改内存

说明:

说明:原因的jvm配置文件大小只有256M太小,amoeba不能正常启动,需要修改JVM大小.

1.6 Amoeba启动

1.6.1 启动Amoeba

说明:进入到bin目录下执行启动命令

/usr/local/src/amoeba-mysql-3.0.4-BETA/bin

./launcher  启动

./shutdown  停止

1.7 Amoeba测试

1.7.1 连接Amoeba

说明:通过工具连接远程Amoeba.切记关闭防火墙

 

1.7.2 代码测试

说明:通过京淘后台管理修改数据源配置,通过代码测试Amoeba

jdbc.driver=com.mysql.jdbc.Driver

jdbc.url=jdbc:mysql://192.168.126.139:8066/jtdb?useUnicode=true&characterEncoding=utf8&autoReconnect=true&allowMultiQueries=true

jdbc.username=root

jdbc.password=root

1.8 错误集锦

1.8.1 关闭主库和从库的防火墙

说明:当虚拟机开机后,防火墙默认开启了,需要再次手动关闭.

1.8.2 修改配置文件后没有及时报错

共修改2个配置文件dbServer.xml,amoeba.xml

需要通过工具进行下载和上传/保证上传的文件不错.

1.8.3 报错端口占用

1. 关机重启
2. 查询项目的进程后杀死进程

 

Kill -9 5652

1. ./shutdown 关闭amoeba
2. 修改JVM内存

2 Mycat介绍

2.1 Mycat下载

2.1.1 下载地址

官网地址: http://www.mycat.io/

 

2.1.2 安装JDK

2.2 MyCat安装

2.2.1 解压文件

tar -xvf Mycat………

2.2.2 编辑schemas.xml文件

2.2.3 定义负载策略:

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"

  writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">

<heartbeat>select 1</heartbeat>

 

<!--配置第一台主机主要进行写库操作,在默认的条件下Mycat主要操作第一台主机

在第一台主机中已经实现了读写分离.

因为默认写操作会发往137的数据库.

读的操作默认发往141.如果从节点比较忙,则主节点分担部分压力.

-->

<writeHost host="hostM1" url="192.168.126.137:3306" user="root" password="root">

<!--读数据库-->

<readHost host="hostS1" url="192.168.126.141:3306" user="root" password="root" />

</writeHost>

 

 

<!--定义第二台主机 由于数据库内部已经实现了双机热备.

Mycat实现高可用.当第一个主机137宕机后.mycat会自动发出心跳检测.检测3次.如果主机137没有给Mycat响应则判断主机死亡.则启动第二台主机继续为用户提供服务.

如果137主机恢复之后则处于等待状态.如果141宕机则137再次持续为用户提供服务.

前提:实现双机热备.

-->

<writeHost host="hostM2" url="192.168.126.141:3306" user="root" password="root">

<readHost host="hostS1" url="192.168.126.137:3306" user="root" password="root" />

</writeHost>

</dataHost>

2.2.4 修改server.xml

默认的schemas是TextDB.需要手动修改

2.2.5 启动Mycat

说明:进入根目录cd /usr/local/src/bin

./mycat start   启动

./mycat stop关闭mycat

2.2.6 测试

 

2.3 报错说明

2.3.1 IP错误

检测IP地址和自己的机器是否匹配

192.168.126.137

2.3.2 配置文件上传是否正确

1. 分别检测server.xml和schema文件是否上传成功

2.如果正确还是测试不成功,则先关闭mycat,控制台通过rm -rf 命令将Mycat的2个配置文件删除.之后通过FZ工具上传修改后的配置文件.之后重启mycat

2.3.3 检测日志是否启动成功

cd /usr/local/src/mycat/logs/  cat wrapper.log

2.3.4 关于getByte报错

由于Mycat中解析配置文件时会出现报错信息,

所以将每行注释都添加<!—注释-->

3 Redis学习

3.1 传统框架中的瓶颈

3.1.1 缓存机制

缓存机制其实就是降低了客户端访问真实数据源的访问频次.缓存中的数据就是数据源就数据的备份.如果数据源数据发生改变.缓存数据需要及时更新.

3.1.2 缓存中遇到的问题

1. 如果采用单台缓存服务器,很容器出现宕机现象.如果缓存服务器宕机将直接影响整个服务.---解决方案部署缓存集群
2. 如果实现缓存则需要实现数据的同步—配置主从
3. 如果缓存服务器宕机.数据如何保存.应该将数据尽可能持久化

3.1.3 Redis内存数据库

说明:redis现阶段所有企业中使用最多的内存数据库.其中主要采用key-value的形式保存数据.并且提供很多实用的数据类型.String/list/set/hash.

Redis底层通过C编辑,可以每秒支持110000次的集合运算.并且在内存中运行.

Redis底层实现时自动支持数据的持久化.如果reids重启会自动的扫描持久化文件之后恢复数据.

3.1.4 Redis的下载

http://www.redis.net.cn/

Window版本不建议使用

因为官方没有提供window版本,该window版本是微软自己研发.稳定性不强

3.1.5 缓存架构

3.1.6 解压redis

tar -xvf redis-3.2.8.tar.gz

 

3.1.7 编译redis

在根目录下执行 /usr/local/src/redis-3.2.8 执行make指令

make

生成可执行文件

3.1.8 安装redis

make install

4 Redis操作

4.1 启动redis

4.1.1 直接启动

命令:redis-server

说明:默认端口都是6379

 

问题:通过redis-server启动时,之后不能编写linux命令,需要再次创建链接.造成编码不便

4.1.2 后台启动

1. 解除IP绑定

1. 关闭保护模式

1. 开启后台运行

1. 开启后台redis

redis-server redis.conf

ps -ef |grep redis

root      5847     1  0 01:45 ?        00:00:00 redis-server *:6379    

root      5852  2571  0 01:45 pts/1    00:00:00 grep redis

4.2 操作redis

4.2.1 进入客户端

执行命令:redis-cli

4.3 Redis的操作命令

4.3.1 String 类型操作

指令	说明	案例
set	设定key的值	set name tom
get	获取指定 key 的值	get name
strlen	获取key值的长度	strlen name
exists	检查给定 key 是否存在	exists name 返回1存在  0不存在
del	删除指定的key/key1 key2	del name1 name2
keys	命令用于查找所有符合给定模式 pattern 的 key	Keys * 查询全部的key值 Keys n?me 占位符 Keys name* 以name开头的key
mset	赋值多个key-value	mset key1 value1 key2 value2 key3 value3 同时赋值多个值
mget	获取多个key	Mget key1 key2 key3
append	对指定的key进行追加	append key 123456   value123456 append key " 123456" value 123456中间多一个空格
Type	查看key的类型	Type key1 127.0.0.1:6379> TYPE key1string
Flushdb	清空当前数据库	Flushdb 清空数据库
Select	切换数据库	Select 0-15 redis一共有16个数据库
FLUSHALL	清空全部数据库数据	flushall
Incr	自动增长1	Incr num  数据会自动加1 Incr string 数据库会报错
Decr	自动减1	Decr name 数据会自动减1
incrby	指定步长自增	Incrby 2 每次自增2
Decrby	指定步长自减	Decrby 2每次减2
Expire	指定key的失效时间单位是秒(s)	EXPIRE name1 5   5秒后数据失效
Ttl	查看key的剩余存活时间	Ttl name -2表示失效 -1没有失效时间
Pexpire	设置失效时间(毫秒)	Pexpire name 1000 用于秒杀业务
Persist	撤销失效时间	撤销失效时间

 

指令	说明	案例
hset	Hset  key值 属性名 属性值	Hset user id 1 Hset user name tom 设置id和name的属性值
hget	获取指定 key的属性值	Hget user name  获取name属性值
hmset	Hmset user key value1 key2 value2	hmset user id 1 name tom age 18
hmget	hmget user id name age	hmget user id name age 获取user对象的id,name,age的属性值
hgetall	取出key的全部字段值和属性值	HGETALL user
hdel	删除key的指定字段	删除key的指定字段
Hkeys	查看key的全部字段	HKEYS user
hvals	查看key的全部值	Hvals user
hlen	查看key的字段数	Hlen user  查看user的字段数

4.3.2 Redis集合数据类型

1.字符串类型  String

2.散列类型 hash

3.列表类型 list

4.集合类型 set

5.有序集合类型

1.散列类型

可以通过散列类型用来保存对象和属性的值

例如:user对象    {id:2,name:小明,age:19}

通过散列类型赋值不需要{}

 

4.3.3 List列表类型

List列表类型(list)是一个存储有序的元素的集合类型.List数据类型底层是一个双端列表.可以从左右分别进行写入操作

指令	说明	案例
lpush	将一个或多个值插入到列表左部插入	LPUSH list1 1 2 3 4
rpush	在列表中添加一个或多个从列表右侧插入	RPUSH list1 5 6 7 8
lpop	从列表左侧移除元素,并且返回结果	LPOP list1
rpop	从列表右侧移除元素,并且返回结果	RPOP list1
llen	获取list集合的元素个数	Llen list1
Lrange	获取指定区间内的片段值	LRANGE list1 0 3 获取从左数第1个到第4个值  LRANGE list1 -3 -1 从右数第三个到第一个数据 Lrange list1 0 -1 查询全部列表数据
Lrem	删除列表中指定的值 Irem key count value 当count>0,从左开始删除前count个值为value的元素 当count<0,从右侧开始删除前count个值为value的元素 当count=0时,删除所有value的元素	LREM list1 2 2 从左数前2个为2的元素  LREM list1 -2 3  从右数前2个为3的元素  LREM list1 0 4 删除全部为4的元素
Lindex	根据指定索引值查询元素	LINDEX list1 0   查找索引值为0的值  LINDEX list1 -1 查询最右边的值
Lset	为指定索引赋值	LSET list1 0 10
LINSERT	LINSERT key  before value1 value2 在value1之前插入value2 LINSERT list1 after 1 2	LINSERT list1 before 10 100 从左数第一个为10的元素前插入100 LINSERT list1 after 1 2 从左数第一个为1的值之后插入2

双端列表的数据特点:查询两端数据时速度较快,查询中间数据较慢.

4.3.4 redis集合类型

redis支持集合类型,并且每个集合的元素类型都可以不同,并且集合时无序的. 

指令	说明	案例
sadd	向集合添加一个或多个成员	sadd set a b c
scard	获取集合的成员数	SCARD set
srem	删除集合的指定元素	SREM set a  删除set中的a元素
smembers	查看集合的所有元素	SMEMBERS set
Sismember	查看元素是否属于集合	SISMEMBER set a 查看a是否属于set集合
sdiff	返回给定所有集合的差集
sinter	返回给定所有集合的交集
sunion	返回所有给定集合的并集	A={1,2,3}  B={2,3,4}  SUNION a b   = 1,2,3,4