zoukankan      html  css  js  c++  java
  • Spark性能调优之JVM调优


    Spark性能调优之JVM调优

    通过一张图让你明白以下四个问题
                   1.JVM GC机制,堆内存的组成
                   2.Spark的调优为什么会和JVM的调优会有关联?--因为Scala也是基于JVM运行的语言
                   3.Spark中OOM产生的原因
                   4.如何在JVM这个层面上来对Spark进行调优
                  
       补充:
                   Spark程序运行时--JVM堆内存分配比例
                       RDD缓存的数据(0.6)    默认
                       对象_task运行时产生的(0.2)    默认
                       聚合内存_shuffle read拉来的数据(0.2)    默认
                    手动分配内存时,不能去调节task运行时的内存,可以去调节其他的RDD Memory OR Shuffle read_聚合内存来间接调节task运行内存
  • 相关阅读:
    Shell脚本编程之Shell函数
    Shell脚本编程之流程控制
    Shell脚本编程之Shell命令
    MySQL5.6的optimizer_trace
    Cgroup
    Python的__main__.py用法
    Git提交到github上
    mysql timeout
    数据库大牛
    update and的坑
  • 原文地址:https://www.cnblogs.com/haozhengfei/p/3d8f33e6f4b69e4adf6c9f5b0cf986f2.html
Copyright © 2011-2022 走看看