zoukankan      html  css  js  c++  java
  • 大数据高并发学习笔记(2)

    对于大数据问题,最终都会反馈到数据瓶颈上。那么今天就是搞得数据库啦!

    木桶理论

    桶装水能力是由最短的那块板决定的。   

    在一个系统中,或者说是一个企业里,数据时最重要的。所以我们是一定要保证数据的正确性,唯一性。

    数据 二八原则:

    80%的请求聚焦在  20%的数据上。

    80%的请求都是查询  20%是增删改。

    读写分离:

     如图,就是一主多从,发布订阅 的示意图。

    发布订阅的好处在于不限制从库的个数,目的是为了提高请求量,均衡分散数据库压力。

    SQL SERVER 发布订阅 配置

    1.点击配置分发,之后,点击下一步

    2.配置快照文件夹地址(快照文件夹需要时共享目录,一遍局域网内机器能够访问)

    3.配置分发服务器完成,点击完成按钮,之后再点击一次完成按钮。

     

     4.配置发布订阅环境。点击本地发布--->新建发布,之后选择我们要发布的数据库--->选择事务发布

     5.点击下一步,到快照代理选项卡,勾线   立即常创建快照并....--->点击下一步-->点击安全设置--->设置代理方式并且输入账号密码

     6.填写发布名称---->点击完成即可。等待发布完成。

     7.创建订阅     点击本地订阅---->新建订阅----->选择刚才创建的发布服务器----->选择数据同步方式(push  or pull)---->点击下一步、选择订阅服务器,点击下一步

     8.在分发代理安全性页  点击与订阅服务器的连接----->指定权限和账号------->点击下一步直至完成。

     9.至此,SQL SERVER 数据库的主从复制步骤已完成。

        另,要创建多个订阅服务,按照上述订阅服务器的创建即可。

    代码层面需要配置处理主从库的链接

       1.配置好所有的数据库链接。

       2.链接数据的时候,区分读写操作的API。

       3.在读API的时候,做好数据库链接的轮询/加权轮询操作进行数据库连接。

    数据库负载均衡Moebius

    Moebius是一个用作负载均衡的中间层。他会协调同步分发其控制的所有数据库的操作

    例如:其控制1,2,3数据库。对1操作之后,这个中间层会将对1的操作在2,3上面执行。

    优点:省心省力

    缺点:花钱,性能一般。

    大数据

    针对大数据量的数据库进行操作时,查询,插入的性能都将变得很慢。我们需要采用一个方法来提高性能。

    分治思想:分库,分表,表分区

    表分区:将一个大文件分割为多个小文件。需要使用SQL 按照指定规则对数据进行排列。按规则查询。

    分库:  一个库变为多个库----垂直拆分和水平拆分

              垂直拆分:按照业务拆分,不同业务使用不同的库

              水平拆分:按数据拆分,多个库结构一模一样,比如,按照地区,区域,时间对数据进行拆分。

    分表:

             垂直分表:将表中的某些字段独立出来进行拆分。一般来说,针对频繁查询的字段,大容量等字段进行拆分,也叫垂直拆分。

             水平分表:将表数据横向拆分(跟分库差不多)。

    分库分表之后数据查找问题

    1.避免跨库跨表查询。-------设计时需要注意业务需求对查询条件的影响(比如按照时间或者地区等)。

    2.避免不了的话,首先,不允许link(因为link链接数据库特别慢)。

               |   提供服务式获取,不要直连数据库。

               ||  使用NoSql进行提前的数据统计/使用全文检索框架/业务妥协。

    3.业务妥协。

  • 相关阅读:
    柯里化函数
    函数部分应用Partial application
    001Spark文件分析测试
    001Spring4.2基本环境搭建
    Rectangle 响应按键
    jQuery打印Html页面自动分页
    jquery实现页面局部刷新
    2014 年10个最佳的PHP图像操作库--留着有用
    20 个势头最猛的开发者工具
    20+个很有用的 jQuery 的 Google 地图插件
  • 原文地址:https://www.cnblogs.com/zhangrgLearning/p/13363379.html
Copyright © 2011-2022 走看看