mysql 性能容量评估

性能容量评估

---

 

• 分析上线业务场景
• 评估数据库服务器所需性能指标
• 预估可能成为瓶颈的服务器资源
• 帮助数据库性能调优

 

数据库服务器硬件性能指标项：

• 磁盘IO性能
• 内存容量
• CPU
• 网络吞吐量
• 磁盘容量

 

数据库业务特点关键词

---

 

• OLTP/OLAP
• 并发请求
• 读写比例
• 数据量
• 冷热数据比
• 数据分级存储

 

OLTP与OLAP 

T=Transaction

面向广大用户，高并发，较短事务操作

互联网应用绝大部分属于OLTP

OLTP看中服务器CPU,内存，写事务较多或内存不够则依赖磁盘IO

A=Analytical

通常面向内部人员，大规模复杂查询

OLAP看中磁盘扫描的IO能力，部分依赖内存排序

 

并发请求数--衡量线上业务繁忙程度

• 业务高峰时数据库的每秒并发访问量是多少
• 通过应用服务器数量，连接池配置判断
• 通过产品估算初上线用户规模和用户增长速度判断
• 通过实际业务业务类型判断
•  
• 并发量相关资源：cpu

 

读写比例--描述应用程度如何使用数据库

• 线上业务select只读与update/delete/insert写操作比例
• delete/update通常都是先读再写
• insert需要区分数据写入还是持续insert还是大量导入数据
• 根据业务实际场景分析

多读场景相关资源：内存

多写场景相关资源：磁盘IO

 

数据量-总量

• 数据库服务器存储设备可扩容能力的上限
• 根据估算的业务量，写入模式，分析数据增长量
• 预计一个硬件升级周期内数据库可存放数据的总量，上线时要留好余量
• 数据总量相关资源:磁盘容量

 

冷热数据比-有用数据的实时集合

• 热数据，线上最新一定周期内将被反复访问的数据
• 冷数据，线上保存着的，最近不会被在线用户用到的数据
• 估算活跃用户量，数据增长量等预估热数据量
• 内存大小尽可足够存放线上实时热数据
• 热数据相关资源：内存

 

线上数据分层存储--缓解线上磁盘空间压力

 

服务器资源选型--将可选方案列出来

 

性能--成本的平衡；

 

数据库业务特点关键词

• OLTP/OLAP
• 并发请求
• 读写比例
• 数据量
• 冷热数据比
• 数据分级存储

 

案例

---

 

案例一，网易云音乐曲库数据库服务器评估

• 用于存放线上数千万歌曲信息
• 确定属于OLTP线上类型数据库
• 并发请求
• • 50台应用服务器，每台最大连接数100
  • 可能峰值5000qps，并发请求量较大
  • 所以：CPU需求高
• 读写比例
• • 访问模式以用户列出歌单和播放歌曲时查询歌曲信息为主，用户只有只读查询
  • 写数据发生在录入新歌或修改歌曲信息时后台操作，写比例小，且为批量导入
  • 读写比例：100:1
• 数据总量
• • 估算每首歌信息8K，总计5000万，总量400G
  • 数据总量增长相对较慢
• 冷热数据比
• • 5000万歌曲中大约40%可能被访问，10%属于热点歌曲
  • 热数据大约<40G
• 数据分级存储需求
• • 由于没有用户产生的数据，歌曲信息无法分级存储

 

分析完得出以下结论：

• 并发请求高-----------------------CPU性能要求高
• 读占大部分，且热数据大约40G---内存需求一般>40G
• 数据总量400G--------------------磁盘空间需求一般>400G
• 写比例较少，且是后台批量--------磁盘IO能力需求一般
• 网络流量要求：8K*2500（每秒2500首放回给用户）/1024≈20MB/S，一般

 

一般使用估算容量*2；

 

     

 

分析上线业务场景

 

数据库业务特点关键词

• OLTP/OLAP
• 并发请求
• 读写比例
• 数据量
• 冷热数据比
• 数据分级存储

 

案例二，网易理财销售数据库服务器评估

分析上线业务场景：

• 用于存放理财用户线上订单
• 确定属于OLTP线上类型数据库
• 业务场景有明显特征
• • 特定高息产品秒杀销售时间窗有大量并发订单写入
  • 平时只有少量订单查询请求，和较低的常规产品购买请求
• 评估应以满足最关键的业务高峰为基准

 

数据库业务特点：

• 确定属于OLTP线上类型数据库
• 并发请求量
• • 秒杀期间持续时间短，但是并发量预估30台应用服务器约2000tps(实际估算，比如限售3亿，平均每笔订单1万，则会有3万笔订单，根据实际情况，3万笔订单将在十几秒卖光，所以，每秒应该有2000笔订单完成)
  • 所以CPU要求较高
  • 所以网络要求较高
• 读写比例
• • 高峰时写订单是主要开销操作
  • 所以磁盘IO要求很高
• 数据总量
• • 根据业务分析，订单属于写入瞬时量大，总量较小，单笔金额较高
  • 总量预估一年成交百万单位级别，增长量较稳定
  • 判断数据存储需求小于200G
  • 所以磁盘空间需求一般，>200G
• 冷热数据
• • 峰值写入为主，内存要求存放热点期间产生的脏数据即可
  • 总共有3万笔订单数据产生，算一算脏数据<10G
• 数据分级存储需求
• • 用户订单业务约定页面展示最近半年订单，半年前的需要到历史查询页面专门查询
  • 因此可以做分级存储，迁移所有半年前订单至历史库

 

 总结

---

 

•  硬件性能指标：
• • 磁盘IO性能
  • • 单盘->盘阵
    • SAS-SATA,
    • 机械盘->ssd
  • 内存 较小->较大，
  • cup
  • • 普通->多核，
    • 超线程，
  • 磁盘容量
  • • 单盘->盘阵，
    • 单盘->LVM，
  • 网络吞吐量
  • • 千兆->万兆，
    • 单网卡->多路；
•  数据库业务特点：
• • OLTP/OLAPM,
  • 并发请求------cpu，
  • 读写比例
  • • 读---内存
    • 写磁盘IO，
  • 数据量--磁盘容量，
  • 冷热数据比 
  • • 热数据多--内存，
  • 数据分级存储--缓解线上磁盘空间压力
• 性能与成本的平衡