zoukankan      html  css  js  c++  java
  • 【原创】大数据基础之Benchmark(4)TPC-DS测试结果(hive/hive on spark/spark sql/impala/presto)

    1 测试集群

    内存:256G
    CPU:32Core (Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz)
    Disk(系统盘):300G
    Disk(数据盘):1.5T*1

    2 测试数据

    • tpcds parquet 10g
    • tpcds orc 10g

    3 测试对象

    • hive-2.3.4 【set mapreduce.map.memory.mb=4096; set mapreduce.map.java.opts=-Xmx3072m;】【yarn 200g*3】
    • hive-2.3.4 on spark-2.4.0 【--master yarn --driver-memory 4g --num-executors 10 --executor-memory 4g】
    • spark-2.4.0 【--master yarn --driver-memory 4g --num-executors 10 --executor-memory 4g】
    • impala-2.12 【MEM_LIMIT=20gb * 3】

    默认配置,未经优化;

    4 测试结果

    4.1 parquet

    ps:0 means 执行失败

    4.2 orc

    ps:0 means 执行失败

    可见:

    hive orc相比parquet性能提升22%;
    spark parquet相比orc性能提升36%;

  • 相关阅读:
    ssh session 共享
    python 快速开启http服务
    GCC 默认头文件搜索路径
    GCC 部分单元测试编译失败
    随机森林与GBDT
    DecisionTree
    SVM
    KDDCUP CTR预测比赛总结
    剑指offer-java
    搜狗搜索日志传输与分析
  • 原文地址:https://www.cnblogs.com/barneywill/p/10511500.html
Copyright © 2011-2022 走看看