zoukankan      html  css  js  c++  java
  • 2018.06-2020.05(哈啰出行)

    2018.06-2020.05(哈啰出行)

    标签(空格分隔): 成长之路


    Hadoop 体系变更史

    HDFS:

    基础性能优化
    标准化统一机型
    各个组件 gc 优化
    配置中心统一化
    用户使用标准模型
    权限体系建设打通
    成本优化
    HDFS 组件源码优化

    Yarn:

    MapReduce 基础调优
    队列划分
    Yarn 架构调整
    调度器 优化
    ResourceManager,NodeManager 优化

    Hive

    metastore,HiveServer2 稳定性,性能优化
    Hive 权限体系
    Hive 存储成本优化,存储格式性能优化
    Hive 数仓体系建设
    Hive 元数据优化。

    Presto

    队列划分
    集群拆分
    Presto bug 修复(参数,源码)
    Presto 权限体系与Hive 打通
    Presto Worker 本地性能优化
    Presto 稳定性建设

    Ranger

    Ranger admin 稳定性
    Ranger Admin 性能优化
    Ranger Plugin 策略构建优化
    Ranger Plugin 惰性加载
    Ranger 高可用

    Spark

    Spark SQL:
    Spark thriftServer:
    PySpark

  • 相关阅读:
    属性包装
    生成器
    迭代器
    深拷贝-浅拷贝
    装饰器-wrapper
    类别不均衡
    参数优化-学习曲线
    参数优化-验证曲线
    参数优化-API
    D. Number Of Permutations 符合条件的排列种类
  • 原文地址:https://www.cnblogs.com/hit-zb/p/13034732.html
Copyright © 2011-2022 走看看