zoukankan      html  css  js  c++  java
  • 分布式系统学习笔记

    分布式:

    互不通信的多线程模式

    基于共享容器协同的多线程(加锁)

    通过事件协同的多线程模式

    多进程模式(序列化,反序列化)

    网络IO实现方式:

    socket

    BIONIOAIO

    集群后的session问题:

    在会话开始时,分配一个唯一的会话标识(sessionid),通过cookie把这个标识告诉浏览器,以后每次请求时,浏览器都会带上这个会话标识,告诉浏览器请求是属于哪个会话

    在web服务器上,各个会话独立存储,保存不同会话信息

    处理方式:

    session sticky

    session replication

    session 集中存储

    bokkie based

    数据库:

    读写分离

    搜索引擎其实是一个读库

    数据库分离:专库专用,即数据库的垂直拆分、水平拆分

    应用拆分:服务化

    Java并发编程的类,接口和方法 :

    线程池:

    ThreadPoolExecutor

    ScheduledThreadPoolExecutor

    synchronized

    ReentrantLook,还提供了ReentrantReadWriteLook,超时机制,公平锁,非公平锁

    volatile

    Atomics

    wati,notify,notifyAll

    CountDownLatch, CountDownLoatch可以唤醒多个等待的线程,到达自己预期状态线程调用countDownLotch的countDown方法,而等待的线程会调用CountDownLotch的await

    CyclicBarrier让多个线程在这个屏障前等待,直到所有的线程都到这个屏障时,再一起继续执行后面的动作

    Semaphore,用于管理信号量

    Exchange

    Future和FutureTask,Future是一个接口,FutureTask是其实现类,调用函数后马上返回,然后继续向下执行,等要重要数据时再来用,或再来等待数据

    并发容器 CopyOnWrite和Concurrent开头的几个容器

    代理:静态代理和动态代理

    反射:

    在运行时判断任意一个对象所属的类,在运行时构造类对象,判断类具有的成员变量和方法,调用方法,生成动态代理

    服务框架帮助对应用拆分,完成服务化,数据层完成数据的拆分和整个数据层的管理,扩容,迁移工作,消息中间件完成应用的解耦,提供一个分布式环境下完成事务的思路

    服务调用端具体工作

    调用发起——》寻址路由——》协议适配/序列化——网络传输——》反序列化/协议解析——》得到结果返回给调用方

    数据访问层:

    数据库垂直拆分:

    ACID保证被打破(事务)

    一些JOIN操作困难

    靠外键约束的场景受影响

    水平拆分:

    ACID保证被打破(事务)

    一些JOIN操作困难

    靠外键约束的场景受影响

    自增序列

    分布式事务:

    2阶段提交,prepare commit

    分布式CAP:在一个分布式系统中,Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),三者不可得兼

    一个分布式系统里面,节点组成的网络本来应该是连通的。然而可能因为一些故障,使得有些节点之间不连通了,整个网络就分成了几块区域。数据就散布在了这些不连通的区域中。这就叫分区。

    当你一个数据项只在一个节点中保存,那么分区出现后,和这个节点不连通的部分就访问不到这个数据了。这时分区就是无法容忍的。

    提高分区容忍性的办法就是一个数据项复制到多个节点上,那么出现分区之后,这一数据项就可能分布到各个区里。容忍性就提高了。

    然而,要把数据复制到多个节点,就会带来一致性的问题,就是多个节点上面的数据可能是不一致的。要保证一致,每次写操作就都要等待全部节点写成功,而这等待又会带来可用性的问题。

    总的来说就是,数据存在的节点越多,分区容忍性越高,但要复制更新的数据就越多,一致性就越难保证。为了保证一致性,更新所有节点数据所需要的时间就越长,可用性就会降低。
     
    引用:https://www.zhihu.com/question/54105974/answer/139037688

    数据库平滑迁移:

    1、记录源增量日志
    2、源复制
    3、增量记录,最终将收敛
    4、停止向源写数据,记录增量记录
    5、更新路由

    消息中间件,顺序保证,扩展性,可靠性,事务操作,消息发送一致性

    消息重复:

    客户端,重用ID

    服务器端,幂等

    软负载中心,集中配置管理中心

    聚合地址,生命周期感知

    服务端:感知提供服务的机器是否在线,聚合提供者的信息;将信息传给使用数据的应用

    客户端:

    1、提供者:上报信息

    2、使用者:请求提供者信息,缓存

  • 相关阅读:
    关于VS下的应用程序出现0xc000007b的问题以及OpenCV相关的0xc000007b问题
    彻底解决DZ大附件上传问题
    基于Red5的视频直播平台
    .htaccess重写URL讲解
    了解Linux实时内核
    Linux操作系统实时性分析
    5分钟教程:如何通过UART获得root权限
    记一次有惊无险的Linux数据恢复过程
    11款最棒的Linux数据恢复工具
    Xamarin.Android开发实践(六)
  • 原文地址:https://www.cnblogs.com/m2492565210/p/8652478.html
Copyright © 2011-2022 走看看