zoukankan      html  css  js  c++  java
  • hive streaming 使用的时候的一些心得

    hive streaming 报错的解决方案:

    1、把使用到hive streaming 的sql 分解,例如:select transform a,b,c,d using 'python cc.py' as (e,f) from table,分解成:select a,b,c,d from table ,然后执行:

      hive -e "select a,b,c,d from table" | python cc.py,这样如果是语法有问题的话就会检查出来。

    2、查看是否是编码问题:如果你的sql中要使用:using “cc.py” 那么如果python脚本有编码问题的话,就会无法执行并报错。监测是否有问题的方法是:chmod 777 cc.py,然后用./cc.py执行脚本,如果报错,那么sql中肯定也报错,解决方法就是用 using “python cc.py”

    3、如果你的集群配置了日志收集,那么查看问题就方便多了,直接去执行sql的hdfs 上面的application目录下面查看就可以。

    4、在python 脚本中加上 import traceback ;

     except Exception,e:

     print traceback.format_exc()

  • 相关阅读:
    007 Java引用数据类型
    005 Java数组
    002 Java 引用数据类型示例
    001 Java入门和简介
    2.接口测试工具-Postman
    1、接口测试-前言
    测试工程师的进阶之路
    接口测试概述
    期末作品检查
    完成个人中心—导航标签
  • 原文地址:https://www.cnblogs.com/fbiswt/p/4097334.html
Copyright © 2011-2022 走看看