zoukankan      html  css  js  c++  java
  • 分库分表Mycat总结

    在日常的工作中,关系型数据库本身比较容易成为系统的瓶颈点,虽然读写分离能分散数据库的读写压力,但并没有分散存储压力,当数据量达到千万甚至上亿时,单台数据库服务器的存储能力会成为系统的瓶颈,主要体现在以下几个方面:

    ①:数据量太大,读写的性能会下降,即使有索引,索引也会变得很大,性能同样会降下。
    ②:数据库文件会得很大,数据库备份和恢复需要耗时很长。
    ③:数据库文件越大,极端情况下丢失数据的风险越高。
    因此,当流量越来越大时,且单机容量达到上限时,此时需要考虑对其进行切分,切分的目的就在于减少单机数据库的负担,将由多台数据库服务器一起来分担,缩短查询时间。

    切分策略
    数据切分分为两种方式,纵向切分和水平切分

    纵向切分
    常见有纵向分库纵向分表两种。
    1). 纵向分库就是根据业务耦合性,将关联度低的不同表存储在不同的数据库,做法与大系统拆分为多个小系统类似,按业务分类进行独立划分。与“微服务治理”的做法相似,每个微服务使用单独的一个数据库。
    2). 垂直分表是基于数据库中的列进行,某个表字段较多,可以新建一张扩展表,将不经常用或者字段长度较大的字段拆出到扩展表中。在字段很多的情况下,通过大表拆小表,更便于开发与维护,也能避免跨页问题,MYSQL底层是通过数据页存储的,一条记录占用空间过大会导致跨页,造成额外的开销。另外,数据库以行为单位将数据加载到内存中,这样表中字段长度越短且访问频次较高,内存能加载更多的数据,命中率更高,减少磁盘IO,从而提升数据库的性能。


    垂直切分的优点:
    ①:解决业务系统层面的耦合,业务清晰
    ②:与微服务的治理类似,也能对不同业务的数据进行分级管理,维护,监控,扩展等。
    ③:高并发场景下,垂直切分一定程度的提升IO,数据库连接数,单机硬件资源的瓶颈。


    垂直切分的缺点
    ①:部分表无法join,只能通过接口聚合方式解决,提升了开发的复杂度。
    ②:分布式事处理复杂
    ③;依然存在单表数据量过大的问题。

    水平切分
    当一个应用难以再细粒度的垂直切分或切分后数据量行数依然巨大,存在单库读写,存储性能瓶颈,这时候需要进行水平切分。
    水平切分为库内分表和分库分表,是根据表内数据内在的逻辑关系,将同一个表按不同的条件分散到多个数据库或多表中,每个表中只包含一部分数据,从而使得单个表的数据量变小,达到分布式的效果。
    库内分表只解决单一表数据量过大的问题,但没有将表分布到不同机器的库上,因些对于减轻mysql的压力来说帮助不是很大,大家还是竞争同一个物理机的CPU、内存、网络IO,最好通过分库分表来解决。


    水平切分优点:
    ①:不存在单库数据量过大、高并发的性能瓶颈,提升系统稳定性和负载能力。
    ②:应用端改造较小,不需要拆分业务模块。


    水平切分缺点:
    ①:跨分片的事务一致性难以保证
    ②:跨库的join关联查询性能较差
    ③:数据多次扩展维度和维护量极大。

    一、安装及启动:
    1.安装

    1. mycat下载

    http://dl.mycat.io/1.6-RELEASE/

    2.解压,配置环境变量,path=D:softwareMycat-server-1.6-RELEASE-20161028204710-winmycatin[mycat安装地址]

    3.修改配置文件【目录:D:softwareMycat-server-1.6-RELEASE-20161028204710-winmycatconf】

    a)修改wrapper.conf 如下图所示:

    2.启动
    mycat.bat start

    3.查询运行状态
    mycat.bat status

    4.停止服务
    mycat.bat stop

     

  • 相关阅读:
    学习zabbix(一)
    学习openstack(七)
    并不对劲的bzoj3677:p3647:[APIO2014]连珠线
    并不对劲的bzoj5415:loj2718:uoj393:p4768:[NOI2018]归程
    并不对劲的bzoj5475:loj2983:p5206:[wc2019]数树
    并不对劲的多项式求ln,exp
    并不对劲的bzoj1758:p4292:[WC2010]重建计划
    (中等) UESTC 94 Bracket Sequence,线段树+括号。
    (简单) HDU 5154 Harry and Magical Computer,图论。
    (中等) UESTC 360 Another LCIS ,线段树+区间更新。
  • 原文地址:https://www.cnblogs.com/jelly12345/p/12817267.html
Copyright © 2011-2022 走看看