zoukankan      html  css  js  c++  java
  • hive报错:Failed with exception java.io.IOException: rename for src path:

    在hive中,会有这样一种情形:

    1、创建一个分区外部表A(比如A表有5个字段),并且向A表里指定的分区(比如20160928这个分区)里插入数据

    2、发现A表缺少一些字段,因为存在元数据不实时更新的问题,不想更新元数据,就进行删表重新建表B(表B与表A除了多了几个字段外,别的都一样)

    3、再执行hql脚本,把最新的字段样式的数据插入到20160928这个分区里

    会出现如下的报错:

    Failed with exception java.io.IOException: rename for src path: hdfs://bdc/are_wek/date=20160928/.hive-staging_hive_xxxxxx-1/-ext-10000/000000_0 to dest path:hdfs://bdc/are_wek/date=20160928/000000_0 returned false
    FAILED: Execution Error, return code 1 from
     org.apache.hadoop.hive.ql.exec.MoveTask. java.io.IOException: 
    rename for src path: hdfs://bdc/are_wek/date=20160928/.hive-staging_hive_xxxxxxx-1/-ext-10000/000000_0 to dest path:hdfs://bdc/are_wek/date=20160928/000000_0 
    returned false
    

    这个错误是指hadoop在把hql执行结果从临时文件挪到对应的表所在的目录时出错;

    出现这个问题的原因是:

    1、我只是drop了表,其实只是删除了表的元数据,但是表对应的数据文件依然还在hdfs上;

    2、hive在把临时文件挪移到正式目录时,会先对hdfs上的文件做一个判断,如果文件夹不存在那就创建,如果存在那就直接把文件挪移过去,这样就等于把临时文件夹里的000000_0文件挪到正式目录下,这时候正式目录已经有了一个叫000000_0的文件,所以就会报如上的错误

    解决办法:

    hadoop fs -rmr /bdc/are_wek/date=20160928/*
    

    把对应的数据文件删除即可

    感谢:http://blog.sina.com.cn/s/blog_b82e70870102x3oz.html

  • 相关阅读:
    Java三年经验
    系统集成项目管理 - 笔记
    ZK
    older versions of the JRE and JDK
    [提高组集训2021] 古老的序列问题
    CF1556G Gates to Another World
    Codeforces Round #743 (Div. 1)
    [提高组集训2021] 蚂蚁
    [LOJ 6669] Nauuo and Binary Tree
    [ABC219H] Candles
  • 原文地址:https://www.cnblogs.com/zhqin/p/13668109.html
Copyright © 2011-2022 走看看