zoukankan      html  css  js  c++  java
  • 2016 DTCC(中国数据库技术大会)

        上周去参加了2016 DTCC(数据库技术大会),会议总共持续3天,议题非常多,我这里搜集了最新的公开的PPT内容,有兴趣的同学可以下载看看,PPT合集下载链接为:http://pan.baidu.com/s/1i4XDESX。以下内容是我对听的几个议题的一点总结,并欢迎讨论。

    《时间序列存储引擎》

    携程的同学做了一个MySQL时序数据库引擎(Ctrip fast logging),用于实时收集服务器的状态信息。时序数据的特点每条信息都包含了时间戳,并且是顺序追加的,而且这些信息一般不会发生变更,PPT的内容主要是讲如何基于Mysql的框架实现一个存储引擎,包括相关接口的实现。由于底层存储格式非常简单,只支持顺序插入,相对于innodb的B+树非常简单,因此效率也比较高。但个人感觉既然是收集服务器状态信息,性能不会成为瓶颈,用普通的innodb或者myisam足以满足需求,或者对于这种流水型作业用已有方案基于Hbase的OpenTSDB也能满足需求,我想做这个引擎的最大收益应该是积累引擎开发经验吧。

        

    《揭开SQL优化的盖头来》
    李海翔@那海蓝蓝老师从理论和实践上讲了一条SQL语句的编译和优化过程,并介绍了常用的优化技术,包括逻辑优化和物理优化。逻辑优化主要包括子查询上拉,等价谓词重写和外连接消除等;物理优化包括表连接时使用索引,利用索引扫描,group by利用索引,多表连接空间搜索等。最后介绍了各个常用数据库的优化器功能对比。总体来说,PPT的质量还是很不错的,对于DBA同学了解SQL执行原理非常有帮助。

      

    《数据库事务处理原理与实例剖析》
    华为的同学讲了事务的ACID的原理,并结合PostgreSQL介绍了MVCC机制,锁机制和故障恢复机制,基本上讲清楚了事务的原理和实现,比较偏理论,值得仔细体会。

    《华泰证券数据库分布式架构》
    华泰的首席DBA讲了他们的Oralce迁移到MySQL后的高可用方案,通过引入中间件作为路由实现分库分表和读写分离,实现数据库集群水平扩展能力。此外,它们还引入了Galara Cluter集群技术,真正的强同步,数据完全不丢失,也就是PXC(Percona XtraDB Cluster)方案,据我了解,目前去哪儿公司也在用这种架构。这种架构强依赖于网络,所以他们的集群都是在一个机房的,对于我们同城的主备方案有参考意义,但是跨地域网络不稳定的场景下,感觉这种方案不太合适。

    《RocksDB》
    facebook工程师详细讲解了RocksDB的组织结构和存储原理,RocksDB是对LevelDB做了改进,目前作为MySQL的一个引擎(MyRocks)广泛应用于facebook生产环境中,并且MariaDB也支持引入了MyRocks引擎。RocksDB底层数据采用LSM(Log Structed Merge) Tree,相对于传统关系型数据库采用的以page为单位组织的B+树结构,更节省磁盘空间(B+树的page中存在空洞,空间利用率有限),控制写放大问题也更好(比如B+树中,更新一条记录,可能需要写入一个或多个Page)。RocksDB支持一次获取多个K-V,还支持Key范围查找,架构本身对数据自动做到冷热分离,此外RocksDB支持HDFS。个人感觉在省成本方面,RocksDB引擎是一个可以考虑的方向。MyRocks已经开源,git地址:https://github.com/MySQLOnRocksDB/mysql-5.6

    《游戏云存储--TSpider分布式数据库》
    腾讯的同学讲了他们的中间件方案,采用TSpider引擎的MySQL服务器作为代理,实现分库分表和读写分离的功能。TSpider是基于开源的引擎Spider定制,对性能和稳定性做了一定的优化。由于TSpider实际是Mysql的框架的一个引擎,因此它天然具备了Mysql处理复杂SQL的功能,这个是相对于其它中间件的一个优势。TSpider相当于中间服务层,自身不存业务数据,只存分区键信息和路由信息,TSpider对进行转发,并聚合查询结果。

  • 相关阅读:
    vue项目中npm安装sass,less,stylus
    jQueryniceScroll滚动条错位问题
    基于github发布 个人网站/博客
    【转载】预处器的对比——Sass、LESS和Stylus
    元素,布局方式,BFC和清除浮动
    使用git向github中添加项目并更新(备忘录)
    nginx 之 grok 过滤
    gitlab 同步小脚本
    svn同步小脚本
    使用pip命令自动生成项目安装依赖清单
  • 原文地址:https://www.cnblogs.com/cchust/p/5507175.html
Copyright © 2011-2022 走看看