zoukankan      html  css  js  c++  java
  • MySQL5.6 基于db的并行复制

    slave的几个类结构:

     
         Master_info:用于IO线程的参数,包括连接master实例的信息。
         Relay_log_info:用于sql线程,表示relay log相关的信息。
         Slave_worker:继承Relay_log_info,包括一个job队列,用于并行的worker线程。
     
    binlog event的类结构:
         
     
    slave启动的函数栈:
         dispatch_command
              start_slave
                   start_slave_threads
                        start_slave_thread
     
         start_slave:初始化master_info和relay_log_info两个对象
         start_slave_threads:启动两个线程,分别是handle_slave_io io线程,handle_slave_sql sql线程。
     
    handle_slave_io: 启动io线程,根据master_info对象的连接信息,连接master主库。
      while(!io_slave_killed(thd,mi))
         request_dump:循环发送dump协议指令到master,接受event写入relay_log.
     
    handle_slave_sql:启动sql线程,
         1. 当没有使用并行复制的时候。
              while (!sql_slave_killed(thd,rli))
                   exec_relay_log_event(thd,rli): 循环从relay_log中读取event,并执行apply。
         
              exec_relay_log_event的调用栈:
                   apply_event_and_update_pos 
                        Log_event::apply_event
                             Query_log_event::do_apply_event
                                  Query_log_event::do_apply_event     
     
         2. 当设置了opt_slave_parallel_workers时,启用了并行复制
              slave_start_workers:初始化relay_log_info中关于mts的变量。
                   slave_start_single_worker:启动多个并发线程。
                        handle_slave_worker:
                             while (!error)
                                   error= slave_worker_exec_job(w, rli):根据jobs_queue中的值,pop出event进行apply。
                                  在Log_event::apply_event的过程中:
                                       1,如果开启了并行:那么会把event分配给worker线程,然后结束
                                       2,如果没有开启并行:则直接执行do_apply_event
                                       3,如果不能并行的,需要wait_for_workers_to_finish所有worker结束后,本线程自己独立执行。
  • 相关阅读:
    图解+代码|常见限流算法以及限流在单机分布式场景下的思考
    Kafka处理请求的全流程分析
    Kafka索引设计的亮点
    从0到1搭建大数据平台之调度系统
    从0到1搭建大数据平台之计算存储系统
    如何设计数据中台
    Vertica的这些事<十>—— vertica中group by 和join 语句的优化
    Vertica的这些事<七>—— VSQL常用命令
    Vertia的这些事<一>—— 关于vertica的常用操作
    Vertica的这些事(十五)——Vertica报错TM
  • 原文地址:https://www.cnblogs.com/xpchild/p/3713621.html
Copyright © 2011-2022 走看看