zoukankan      html  css  js  c++  java
  • 数据切分——Atlas介绍

            Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本号的基础上,改动了大量bug,加入了非常多功能特性。眼下该项目在360公司内部得到了广泛应用,非常多MySQL业务已经接入了Atlas平台。每天承载的读写请求数达几十亿条。

    同一时候,有超过50家公司在生产环境中部署了Atlas,超过800人已加入了我们的开发人员交流群,而且这些数字还在不断添加。


           Atlas名字的由来:


           Atlas希腊神话中双肩撑天的巨人,普罗米修斯的兄弟,最高大强壮的神之中的一个。因反抗宙斯失败而被罚顶天360期望这个系统可以脚踏后端DB,为前端应用撑起一片天。


            Why Atlas?


            mysql-proxy是官方提供的mysql中间件产品能够实现负载平衡,读写分离。failover等。但其不支持大数据量的分库分表且性能较差。


          

            Atlas相对于官方MySQL-Proxy的优势

                1.将主流程中全部Lua代码用C重写,Lua仅用于管理接口

                2.重写网络模型、线程模型

                3.实现了真正意义上的连接池

                4.优化了锁机制,性能提高数十倍



            Atlas架构设计:


            Atlas是一个位于应用程序与MySQL之间中间件。在后端DB看来,Atlas相当于连接它的client,在前端应用看来。Atlas相当于一个DB。Atlas作为服务端与应用程序通讯,它实现了MySQL的client和服务端协议,同一时候作为client与MySQL通讯。

    它相应用程序屏蔽了DB的细节,同一时候为了减少MySQL负担,它还维护了连接池。

         

             


              Atlas功能特点及常见问题:

    1.Atlas是否支持多字符集?

    对多字符集的支持是我们对原版MySQL-Proxy的第一项改进,符合国情是必须的。

    而且支持client在连接时指定默认字符集。

    2.Atlas是否支持事务操作?

    支持,且处于事务状态的client中途退出时,Atlas会销毁该client使用的连接。让后台的mysql回滚事务,保证了事务的完整性。

    3.自己主动读写分离挺好。但有时候我写完立即就想读,万一主从同步延迟怎么办?

    SQL语句前添加 /*master*/ 就能够将读请求强制发往主库。在mysql命令行測试该功能时。须要加-c选项。以防mysqlclient过滤掉凝视信息。

    4.主库宕机,读操作受影响么?

    在Atlas中读操作不受影响,Atlas会将读请求转发到其它还存活的从库上。

    但此时写请求将会失败,由于主库宕机了。

    5.检測后端DB状态会堵塞正常请求么?

    不会, atlas中检測线程是异步进行检測的,即使有db宕机,也不会堵塞主流程。在Atlas中没有什么异常会让主流程堵塞。

    6.想下线一台DB, 又不想停掉mysql server, 怎么办?

    能够通过管理接口手动上下线后端db, Atlas会优先考虑管理员的意愿。

    7.想给集群中添加一台DB, 不想影响线上正常訪问能够吗?

    通过管理接口能够轻松实现。

    8.相比官方mysql-proxy, Atlas还有哪些改进?

    A: 这实在是个难以回答的问题。性能。稳定性,可靠性。易维护性,我们做过几十项的改进,以下会尽量列一些较大的修改

    9.Atlas支持mysql的prepare特性吗?

    眼下Atlas部分支持prepare功能,支持java,python,PHP(PDO方式)。

    10.Altas支持多个主库的执行模式吗?

    眼下还未对于Atlas后面挂接多个主库的情形进行測试过,不建议这样使用。建议使用一主一从或一主多从的模式。

    11.在使用Atlas的过程中。发现了Atlas存在的bug或者对Atlas有新的功能需求,怎样反馈给开发人员?

    对于用户反馈的bug。我们很重视。

    欢迎用户将bug的复现的环境、步骤和执行截图发邮件至zhuchao[AT]360.cn。同一时候假设用户在实际的应用场景中,对Atlas有新的功能需求。也能够向我们发邮件。我们将及时回复。另外有热心网友建了QQ群326544838,开发人员也已经增加,方便讨论。

    12.java程序连接Atlas出现乱码问题

    把jdbc连接中的amp;删除掉,比如:将

    jdbc:mysql://10.10.10.37:3306/user_db?useUnicode=true&characterEncoding=utf-8&autoReconnect=true
    改动为:

    jdbc:mysql://10.10.10.37:3306/user_db?

    useUnicode=true&characterEncoding=utf-8&autoReconnect=true

    13.监控主从同步之间的延迟?

    Atlas不负责MySQL的主从同步操作。须要DBA自己管理。

    14.java程序连接Atlas发现不能读写分离,全部的请求都发向主库。这是为什么?

    检查一下java框架。是不是默认将autocommit设置为0了,非常多java框架将语句都封装在一个事务中。而Atlas会将事务请求都发向主库。

    15.Atlas有sql语句黑名单过滤机制吗?

    有的。Atlas会屏蔽不带where条件的delete和update操作。以及sleep函数。


             

           

           

  • 相关阅读:
    结对开发----找出“水王"
    团队博客----典型用户分析
    结对开发----电梯调度(课堂练习)
    团队开发_需求分析
    站立会议02(二期)
    站立会议01(二期)
    《软件工程》课程改进意见
    站立会议07(一期)
    站立会议06(一期)
    站立会议05(一期)
  • 原文地址:https://www.cnblogs.com/yjbjingcha/p/6914061.html
Copyright © 2011-2022 走看看