zoukankan      html  css  js  c++  java
  • Spark 学习笔记大纲

    Spark 内核

    • 第28课:Spark天堂之门解密 (点击进入博客)
      从 SparkContext 创建3大核心对象开始到注册给 Master 这个过程中的源码鉴赏
    • 第29课:Master HA彻底解密 (点击进入博客)
      从 Master 如何基于 ZooKeeper 来做 HA 的源码鉴赏
    • 第30课:Master的注册机制和状态管理解密 (点击进入博客)
      从 Master 的角度去分析它是如何接收 Worker, Driver, Application 的注册,以及它是如何管理 Driver 和 Executor 状态变化的源码鉴赏
    • 第31课:Spark资源调度分配内幕天机彻底解密:Driver在Cluster模式下的启动、两种不同的资源调度方式源码彻底解析、资源调度内幕总结 (点击进入博客)
      从 Spark 资源调度的角度去分析Worker与应用程序是如何获得计算资源的源码鉴赏
    • 第32课:Spark Worker 原理和源码剖析解密:Worker工作流程图、Worker启动Driver源码解密、Worker启动Executor源码解密等 (点击进入博客)
      从 Worker 的角度去分析它是如何启动 Driver、Executor 和与 Master 交互的源码鉴赏
    • 第33课:Spark Executor内幕彻底解密:Executor工作原理图、ExecutorBackend注册源码解密、Executor实例化内幕、Executor具体工作内幕 (点击进入博客)
      从 Executor 的角度去分析它是如何注册和 CoarseGrainedExecutorBackend 与 CoarseGrainedSchedulerBackend 两者之间是如何交互的源码鉴赏
    • 第34课:Stage划分和Task最佳位置算法源码彻底解密 (点击进入博客)
      从 Task 的角度去分析一个任务是如何被划分成不同的 Stage 以及Spark是如何计算出最佳的数据本地性
    • 第35课:打通Spark系统运行内幕机制循环流程 (点击进入博客)
      再一次介绍和运行从提交作业到程序封装成 Task 运行的机制
    • 第36课:TaskScheduler内幕天机解密:Spark shell案例运行日志详解、TaskScheduler和SchedulerBackend、FIFO与FAIR、Task运行时本地性算法详解等 (点击进入博客)
    • 第37课:Task执行内幕与结果处理解密 (点击进入博客)
    • 第38课:BlockManager架构原理、运行流程图和源码解密 (点击进入博客)
    • 第40课:CacheManager彻底解密:CacheManager运行原理流程图和源码详解 (点击进入博客)
    • 第41课:Checkpoint彻底解密:Checkpoint的运行原理和源码实现彻底详解 (点击进入博客)

    Spark SQL

    Spark 案例与性能调优目录

    • 第一章:性能调优的本质、Spark资源使用原理和调优要点分析 (点击进入博客)
      初探大数据性能调优的本质和Spark性能调优要点分析、Spark性能调优之系统资源使用原理和调优最佳实践以及Spark性能调优之使用更高性能算子及其源码剖析
    • 第二章:彻底解密 Spark 的 HashShuffle (点击进入博客)
      谈谈 Spark旧版本中性能调优之HashShuffle剖析及调优、彻底解密 Shuffle 是如何成为Spark性能杀手的及调优点思考以及 Spark Hash Shuffle 源码解读与剖析
    • 第三章 : Spark 2.1.x 中 Sort-Based Shuffle 产生的内幕 (点击进入博客)
      从根本上理解 Spark 中 Sort-Based Shuffle 产生的内幕及其 tungsten-sort 背景解密、解密Spark Shuffle令人费解的6大经典问题
    • 第四章 : Spark Shuffle 中 JVM 内存使用及配置内幕详情 (点击进入博客)
      源码补充 : Spark 2.1.X 中 Unified 和 Static MemoryManager (点击进入博客)
      谈谈 JVM 内存使用架构剖析、Spark 1.6.x 以前和 Spark 2.1.x 版本中 JVM 到底可以缓存多少数据、Spark Unified Memory 原理

     

  • 相关阅读:
    tcpdump 命令的常用选项:一
    Centos系统中 Systemd 的Unit文件配置说明
    如何使用PowerShell获取物理磁盘的信息
    tcpdump 命令的常用选项:二
    Google报告:大量被入侵的 Google Cloud 实例被用来挖掘加密货币
    Ubuntu中使用pdftk合并、分离PDF文档等操作
    tcpdump 命令的常用选项:三
    优麒麟Ubuntu Kylin 20.04 Pro SP1 上线
    为SSH登录设置电子邮件提醒
    图片上传并显示(兼容ie),图片大小判断
  • 原文地址:https://www.cnblogs.com/jcchoiling/p/6433786.html
Copyright © 2011-2022 走看看