zoukankan      html  css  js  c++  java
  • 移动基于Percona XTRADB Cluster的大数据解决方式

    移动基于Percona XTRADB Cluster的大数据解决方式
        
        一、移动的去IOE之旅
        

           近期由于“棱镜门”事件的曝光。引起了国家对信息安全问题的注意。各大行业也开展起来去“IOE”的行动。对移动而言, 一方面是对信息安全的操心。还有一方面是对减少成本的考量。对开源体系架构的引入也成为一种现实的方案。

           在互联网行业。MySQL的使用成为主流,但随着Oracle对Sun的收购,MySQL的控制权落入Oracle手中,对MySQL可能闭源的风险也成为业界的共识。

    由此。产生了各种MySQL的分支。

    本文主要对当中的PerconaXtraDB作为数据库方案进行了分析。


         二、Percona STRADB Cluster分析

    Percona XtraDBCluster是MySQL高可用性和可扩展性的解决方式.

    Percona XtraDBCluster提供的特性有:

    1.同步复制,事务要么在全部节点提交或不提交。

    2.多主复制。能够在随意节点进行写操作。

    3.在从server上并行应用事件,真正意义上的并行复制。

    4.节点自己主动配置。

    5.数据一致性。不再是异步复制。

    Percona XtraDBCluster全然兼容MySQL和Percona Server,表如今:

    1.数据的兼容性

    2.应用程序的兼容性:无需更改应用程序

    集群特点:

    Ø 集群是有节点组成的,推荐配置至少3个节点,可是也能够执行在2个节点上。

    Ø 每一个节点都是普通的mysql/perconaserver,能够将现有的数据库server组成集群,反之,也能够将集群拆分成单独的server。

    Ø 每一个节点都包括完整的数据副本。

    长处例如以下:

    1.当运行一个查询时,在本地节点上运行。

    由于全部数据都在本地,无需远程訪问。

    2.无需集中管理。

    能够在不论什么时间点失去不论什么节点,可是集群将照常工作。

    3.良好的读负载扩展,随意节点都能够查询。

    缺点例如以下:

    1.增加新节点。开销大。须要复制完整的数据。

    2.不能有效的解决写缩放问题,全部的写操作都将发生在全部节点上。

    3.有多少个节点就有多少反复的数据。

    架构图例如以下:

    Percona XTRADB Cluster架构图

    Percona XtraDB Cluster与MySQL Replication差别在于:

    分布式系统的CAP理论:

    C—一致性。全部节点的数据一致;

    A—可用性,一个或多个节点失效。不影响服务请求;

    P—分区容忍性,节点间的连接失效,仍然能够处理请求;

    不论什么一个分布式系统,须要满足这三个中的两个。

    MySQLReplication: 可用性和分区容忍性;

    Percona XtraDBCluster: 一致性和可用性。

    因此MySQL Replication并不保证数据的一致性。而Percona XtraDB Cluster提供数据一致性。

    Percona XtraDBCluster组件:

    Percona XtraDB Cluster基于XtraDB的PerconaServer以及包括写复制集补丁。使用Galera 2.xlibrary,事务型应用下的通用的多主同步复制插件。

    Galera 2.x新特性有:

    1.IST(IncrementalState Transfer)增量状态传输。对于WAN特别实用。

    2.RSU(RollingSchema Update)旋转更新架构。不会阻止对表进行操作。


         三、基于Percona STRADB Cluster的系统架构
         munion_sysarch
         扩展性架构
      

    垂直分片:

    ->多个Percona XTRADB Cluster;
    ->Spring配置多个数据源;

    水平分片:

    ->多个PerconaXTRADB Cluster;
    ->Guzz实现数据水平切片和ORM;

       LVS+Keepalived扩展:
    採用三层交换机的等价路由技术最多可配置8台LVSserver,每台都是Master,LVS配置成DR模式,消除了LVS瓶颈。


         五、总结
         我们准备在移动某互联网项目中使用以上方案,经測算在5000万PV、10000并发的情况下。须要1,828,571tpmC 的server一台。按8台LVSserver,每台转发100个Percona XTRADB集群,每一个集群8台server计算(集群内每一个节点数据同样),相当于8X100=800台server。每台servertpmC按1,807,347,支持5000万PV计算,即800X5000万=4000000万PV。足够满足该项目的需求了。
         
         以上方案还需在兴许的持续运营中进行验证。请大家批评斧正!
         
  • 相关阅读:
    C++学习(一)之Visual Studio安装以及首次使用
    基于BP的B/S架构破解
    铁三测试题——权限、你是管理员吗?——WP
    实验吧—安全杂项——WP之 flag.xls
    实验吧—安全杂项——WP之 女神
    wireshark显示过滤器的几种用法(转自他人博客)
    实验吧—安全杂项——WP之 你知道他是谁吗?
    实验吧—Web——WP之 FALSE
    实验吧—Web——WP之 Guess Next Session
    实验吧—Web——WP之 简单的sql注入之2
  • 原文地址:https://www.cnblogs.com/blfshiye/p/5423711.html
Copyright © 2011-2022 走看看