zoukankan      html  css  js  c++  java
  • 奈学教育《大数据架构师》课程大纲

    深度剖析了各个基础技术的源码(ZooKeeper、Hive、Spark、Flink、Hadoop等),对这些基础技 术知识动态的排列组合,形成大数据全局架构观,并深入讲述大数据全局架构设计的方方面面,打 造真正满足企业万亿级海量数据规模的数据中台,真正赋能前台业务。同时,在企业万亿级真实项 目落地环节,采用高性能、高可用、高扩展的架构设计原则,技术上更是融合了企业级主流的离线 架构和实时架构,带领大家构建PB级的大数据中台,真正落地“企业千亿级的数据仓库中台”,实现 “企业级数据中心平台”,搞定“企业千亿级广告统一数据流智能分析平台”,掌握“企业级Hadoop平 台全方位二次源码开发”,让学员面对企业各种海量复杂业务场景,给出优雅的大数据架构设计方 案,从而真正成为企业级大数据架构师!

    第一阶段:分布式协调组件

    第一单元

    掌握ZooKeeper的核心设计

    1. ZooKeeper生态体系结构
    2. ZooKeeper总体架构设计
    3. ZooKeeper读写请求流程深度剖析

    第二单元

    掌握ZooKeeper服务端源码流程

    1. ZooKeeper启动流程源码深度剖析
    2. Master选举算法源码深度剖析
    3. 服务端通信模型源码深度剖析

    第三单元

    掌握ZooKeeper客户端源码流程

    1. 客户端启动流程源码剖析
    2. 客户端通信模型源码剖析
    3. Session管理机制源码剖析

    第四单元

    掌握ZooKeeper企业应用

    1. ZooKeeper写数据流程源码剖析
    2. ZooKeeper企业级应用
    3. ZooKeeper调优

    第二阶段:大数据基础平台

    第五单元

    掌握HDFS的核心架构设计

    1. HDFS架构优势
    2. Hadoop RPC原理剖析

    第六单元

    掌握HDFS集群启动流程

    1. NameNode启动流程源码剖析
    2. NameNode核心服务启动源码深度剖析
    3. DataNode启动流程源码深度剖析
    4. DataNode注册流程源码深度剖析
    5. DataNode心跳流程源码深度剖析

    第七单元

    掌握HDFS元数据管理流程

    1. HDFS元数据管理流程源码深度剖析
    2. HDFS支持亿级流量的秘密源码深度剖析

    第八单元

    掌握HDFS数据读写流程

    1. HDFS写数据流程源码剖析源码深度剖析
    2. HDFS读数据流程源码剖析源码深度剖析

    第九单元

    掌握MapReduce的核心架构设计

    1. MapReduce核心架构设计
    2. Map端源码深度剖析

    第十单元

    掌握MapReduce的核心源码流程

    1. Shuffle源码深度剖析
    2. Reducer端源码深度剖析

    第十一单元

    掌握YARN核心架构设计原理

    1. YARN架构设计
    2. YARN运行流程深度剖析
    3. YARN核心组件源码深度剖析

    第三阶段:分布式数据仓库

    第三阶段:分布式数据仓库

    第十二单元

    掌握Hive核心组件以及调优技巧

    1. Hive运行流程深度剖析
    2. Hive核心组件源码深度剖析
    3. Hive企业级调优

    第四阶段:分布式列式数据库

    第四阶段:分布式列式数据库

    第十三单元

    掌握HBase核心架构设计原理

    1. HBase架构设计优势
    2. HBase核心组件源码剖析
    3. HBase企业级案例应用

    第五阶段:分布式消息系统

    第五阶段:分布式消息系统

    第十四单元

    掌握Kafka架构设计优势

    1. Kafka架构设计优势
    2. Kafka消费者源码深度剖析

    第十五单元

    掌握服务端源码核心设计

    1. Kafka服务端源码之集群启动源码深度剖析
    2. Kafka服务端源码之副本同步源码深度剖析
    3. Kafka服务端源码之网络架构设计源码深度剖析

    第十六单元

    掌握Kafka企业级调优技巧

    1. Kafka服务端源码之请求处理源码深度剖析
    2. Kafka企业级调优

    第六阶段:分布式日志采集系统

    第六阶段:分布式日志采集系统

    第十七单元

    掌握Flume/Canal核心组件原理

    1. Flume核心组件源码深度剖析
    2. Canal核心原理深度剖析

    第七阶段:快速通用的分布式计算引擎

    第七阶段:快速通用的分布式计算引擎

    第十八单元

    掌握Spark内核任务执行流程

    1. Spark核心架构原理
    2. Spark任务执行流程深度剖析
    3. SparkCore源码深度剖析

    第十九单元

    掌握Spark内核企业级调优

    1. SparkCore源码深度剖析
    2. SparkCore企业级调优

    第二十单元

    掌握SparkSQL核心组件原理

    1. SparkSQL核心组件深度剖析
    2. SparkSQL企业案例实践

    第二十一单元

    掌握SparkStreaming核心流程

    1. SparkStreaming核心流程深度剖析
    2. SparkStreaming核心组件源码剖析
    3. SparkStreaming企业案例实践

    第二十二单元

    掌握Spark核心开发原理

    1. Spark企业案例实践

    第八阶段:新一代的分布式计算引擎

    第八阶段:新一代的分布式计算引擎

    第二十三单元

    掌握Flink核心运行流程

    1.Flink核心流程深度剖析
    2.Flink核心知识点梳理
    3.Flink核心源码深度剖析

    第二十四单元

    掌握Flink核心源码流程

    1.Flink核心源码深度剖析

    第二十五单元

    掌握Flink核心技术实践

    1.Flink核心流程深度剖析
    2.Flink企业案例实践

    第九阶段:大数据全局架构设计

    第九阶段:大数据全局架构设计

    第二十六单元

    掌握大数据全局架构设计思想

    1.Lambda架构原理深度剖析
    2.Kappa架构设计原理深度剖析
    3.架构选型深度剖析

    第二十七单元

    掌握大数据中台落地实践方案

    1.大数据中台原理深度剖析
    2.大数据中台IaaS层落地
    3.大数据中台PaaS层落地

    第二十八单元

    掌握大数据中台企业案例实践

    1.大数据中台数据采集流程案例实践
    2.大数据中台数据处理流程案例实践
    3.大数据中台可视化层流程案例实践

    第十阶段:企业级大型项目落地

    第十阶段:企业级大型项目落地

    第二十九单元

    掌握千亿级数仓库架构设计

    1.数仓分层设计
    2.数仓维度建模设计
    3.数仓事实表设计
    4.数仓主题设计
    5.数仓数据集市设计

    第三十单元

    掌握千亿级数仓库方案落地

    1.数据采集案例实践
    2.数仓落地案例实践
    3.数据质量管理

    第三十一单元

    掌握企业级Hadoop平台源码二次开发

    1.企业级Hadoop平台稳定性痛点剖析
    2.企业级Hadoop平台稳定性提升

    第三十二单元

    掌握企业级Hadoop平台源码二次开发

    1.企业级Hadoop平台稳定性痛点剖析
    2.企业级Hadoop平台稳定性提升

    第三十三单元

    掌握PB级X2C电商用户画像系统架构设计

    1.用户画像系统需求分析
    2.用户画像系统指标统计
    3.用户画像系统报表开发

    第三十四单元

    掌握PB级X3C电商用户画像系统方案实践

    1.用户画像系统标签合并

    第三十五单元

    掌握千亿级广告统一数据流分析平台痛点方案设计

    1.数据流分析平台需求分析
    2.数据流分析系统架构方案设计
    3.场景痛点深度剖析

    第三十六单元

    掌握千亿级广告统一数据流分析平台方案实践

    1.数据流分析系统架构方案落地

    第三十七单元

    掌握企业级分布式内存对象缓存系统数据中心架构设计

    1.高复用逻辑封装与高可用数据存取服务设计
    2.多站点数据同步架构设计
    3.数据中心数据缓存失效机制设计

    第三十八单元

    掌握企业级分布式内存对象缓存系统数据中心方案实践

    1.企业级分布式内存对象缓存系统代码落地

     相关课程推荐:

    大数据开发工程师

    大数据架构师

    Java资深研发工程师

    P7架构师

    百万架构师

     
  • 相关阅读:
    🔥低代码音视频开发训练营火热报名中!
    编解码再进化:Ali266 与下一代视频技术
    ICCV 2021口罩人物身份鉴别全球挑战赛冠军方案分享
    提升 RTC 音频体验 从搞懂硬件开始
    只要你有目标,只要你肯努力,成功只是时间问题
    安全感到底来自何方
    工作经验小结
    女人的出路在何方?
    那些以为过去了的
    初出茅庐
  • 原文地址:https://www.cnblogs.com/Jss-forever/p/13182169.html
Copyright © 2011-2022 走看看