zoukankan      html  css  js  c++  java
  • 使用hive数据查询小结

    业务背景:

    公司大数据查询需要通过hive查询和分析一些数据

    产品提出业务分析需求:

    我的处理方式:

    接到需求就想怎么写SQL语句,然后不断调整SQL语句进行验证,最后这个需求写了170行的SQL语句,而且经常报错,最后花了大半天时间才将数据计算出来。

    资深大数据开发工程师的处理方式:

    1. 根据业务进行分析设计,看我们真正需要的数据是什么
    2. 然后开始设计SQL语句
    3. 进行验证调整

    结果,SQL语句只有38行,没有对比,就没有进步的。

    根据上面这个分析和处理过程发现了自己当下的问题:

    1. 对SQL语句掌握的不熟悉,写SQL的能力需要提高
    2. SQL出错不知道如何排查问题
    3. 写的SQL很长,没有对SQL进行分析设计

    根据上面出现的问题进行总结和调整:

    1. 提升自己的SQL能力
    2. 以最小MVP的方式排查比较大的SQL语句,将SQL小范围的尝试和运行
    3. 一定要分析清楚业务场景以及最后实现的效果,然后根据想要的效果对SQL进行设计和分析

    躬身入局

  • 相关阅读:
    shell编程介绍
    第一章作业
    jenkins介绍与操作
    gitlab介绍与操作
    github介绍与操作
    git介绍与操作
    zabbix监控tomcat与安全规范
    js-20170605-基本语法
    webstorm激活方法
    mac的一些基本设置(分享篇)
  • 原文地址:https://www.cnblogs.com/zhangpengfei5945/p/13045269.html
Copyright © 2011-2022 走看看