zoukankan      html  css  js  c++  java
  • sparkSQL flinkSQL hiveSQL性能对比

    最近在研究flink,发现较新版的flink支持sql,这下好了,我用spark两年了,对用法和性能算是踩过一些坑了。

    听说flink挺快的,那么flinkSQL和sparkSQL到底哪个快呢?

    想必很多人也想知道吧,那就拿数据说话(虽然不是自己做的基线测试,但好歹也找了好久)

    下图是hive, spark, flink的sql执行速度对比: 

     下图是平均的

     

    综上所述,flinkSQL和sparkSQL的性能只差一点点,flink是spark的最强大的竞争者。

    个人认为flink潜力很大。

    第一,flink主要是java写的代码,相比scala写的spark而言,flink的内存溢出问题更容易定位和优化。

    第二,flink是在idea环境开发的,而我主要就是用这个开发环境,非常方便。

    本人用sparkSQL两年来,数据倾斜,内存溢出问题见过太多,相当坑爹,而官方源码几乎很难打包编译调试。

    第三、flink更专业,spark就是综合rdd,sql,图计算,流式计算的等几个模块综合体,长远来看不利于开源社区演进

    -------------------------
    技术不在于多么高超先进巧妙,而在于要有现实价值!!!
  • 相关阅读:
    JAVA 笔记二  转
    JAVA 笔记一  转
    在Eclipse中设置中文JavaDOC
    java session用法
    使用Session防止表单重复提交
    君の瞳に乾杯
    今夜では一人で雛祭り 03
    今夜では一人で雛祭り 02
    今夜では一人で雛祭り    001
    十年目のバレンタインデー   002
  • 原文地址:https://www.cnblogs.com/geektcp/p/9878732.html
Copyright © 2011-2022 走看看