zoukankan      html  css  js  c++  java
  • java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast to org.apache.h...

    当insert数据到表时抛出异常:

    Diagnostic Messages for this Task:

    Error: java.lang.RuntimeException: java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast to org.apache.hadoop.hive.ql.io.orc.OrcSerde$OrcSerdeRow

          at org.apache.hadoop.hive.ql.exec.mr.ExecReducer.reduce(ExecReducer.java:263)

          at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:444)

          at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:392)

          at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)

          at java.security.AccessController.doPrivileged(Native Method)

          at javax.security.auth.Subject.doAs(Subject.java:422)

          at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1830)

          at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162)

    Caused by: java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast to org.apache.hadoop.hive.ql.io.orc.OrcSerde$OrcSerdeRow

          at org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat$OrcRecordWriter.write(OrcOutputFormat.java:81)

          at org.apache.hadoop.hive.ql.exec.FileSinkOperator.process(FileSinkOperator.java:753)

          at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:839)

          at org.apache.hadoop.hive.ql.exec.SelectOperator.process(SelectOperator.java:88)

          at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:839)

          at org.apache.hadoop.hive.ql.exec.CommonJoinOperator.internalForward(CommonJoinOperator.java:644)

          at org.apache.hadoop.hive.ql.exec.CommonJoinOperator.genAllOneUniqueJoinObject(CommonJoinOperator.java:676)

          at org.apache.hadoop.hive.ql.exec.CommonJoinOperator.checkAndGenObject(CommonJoinOperator.java:754)

          at org.apache.hadoop.hive.ql.exec.JoinOperator.endGroup(JoinOperator.java:281)

          at org.apache.hadoop.hive.ql.exec.mr.ExecReducer.reduce(ExecReducer.java:196)

          ... 7 more

    FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

    此时查看表结构

    desc formatted persons_orc;

           

    可以看到SerDe Library 的格式是LazySimpleSerDe,序列化格式不是orc的,所以抛出异常

    这里将表的序列化方式修改为orc即可

    ALTER TABLE persons_orc SET FILEFORMAT ORC;

    再看序列化格式已经是orc,使用insert(insert overwrite table persons_orc select * from persons;)插入数据可以ok

     可以参考详细解释:http://www.imooc.com/article/252830

    转载于:https://www.cnblogs.com/xjh713/p/10137880.html

  • 相关阅读:
    指针与应用的区别:《程序员面试宝典的一道题目》
    一道关于sizeof()的困惑的笔试题
    静态变量存储方式
    编译和链接的区别联系
    一些基本的数据格式小问题
    [多线程] 多线程的问题
    [多线程] 停止和暂停线程以及线程的优先级,同步锁
    [多线程] 线程中的常用方法-最详细
    [多线程] 线程的运行状态及上下文切换
    [多线程] 新建线程以及线程的运行
  • 原文地址:https://www.cnblogs.com/Allen-rg/p/13476814.html
Copyright © 2011-2022 走看看