zoukankan      html  css  js  c++  java
  • NameNode 切换时,Hive自定义的函数不可用?

    1. 集群环境

    1. HDFS配置了HA
    2. Hive的自定义函数在HDFS没配置HA之前创建的
    3. Hive的元数据有Mysql管理

    2. 配置双NameNode

    cdh01
    cdh05

    3. 当NameNode从cdh01切换到cdh05后,Hive自定义的函数使用报错

    原因:
    在 Hive 元数据库中保存了原来的NameNode(cdh01)的路径,而不是HA组成的Cluster(nameservice1)的路径

    4. 解决方法

    1. 进入Hive的元数据库,里面找到三张表
      DBS:Hive数据默认路径
      SDS:Hive数据自定义路径
      FUNC_RU:Hive自定义函数的路径

    2. 将 DBS,SDS,FUNC_RU 三张表中的路径由 cdh01:8020 替换成 nameservice1

    修改DBS

    update DBS set DB_LOCATION_URI=REPLACE (DB_LOCATION_URI,'cdh01:8020','nameservice1');
    

    修改SDS

    update DBS set LOCATION=REPLACE (LOCATION,'cdh01:8020','nameservice1');
    

    修改FUNC_RU

    update FUN_RU set RESOURCE_URI = REPLACE(RESOURCE_URI,'cdh01:8020','nameservice1');
    

  • 相关阅读:
    参考资料来自 懒兔子 的公众号
    Etcd
    zookeeper 杂记
    十二五
    防火墙
    APScheduler
    docker管理工具protainer
    java学习笔记
    linux学习笔记1
    [POI2007]ZAP-Queries
  • 原文地址:https://www.cnblogs.com/wuning/p/11698961.html
Copyright © 2011-2022 走看看