zoukankan      html  css  js  c++  java
  • spark+hadoop+sqoop+hive平台bug解决方法

    bug集锦

    1. hadoop平台datanode无法启动:

    原因:

        由于多次hdfs namenode -format导致dfs/data/current/version中的cluserID与当前的cluserID不统一,通过查看hadoop/logs中的datanode日志文件查看到此错误。

    解决方法:

        1). 修改每台节点上的/dfs/current/version文件中的cluserID的值为当前的值(当前值可以通过hadoop/logs日志文件中的报错获得)。

        2). 每次format dfs文件系统时,都加上clusterID参数:(此方法没有亲测)

    hdfs namenode –format –clusterid YOURID

    2. hive配置mysql为metastore时,用户权限问题:

    问题描述:

        在使用了grant all privileges on *.* to 'username'@'%' with grant option;或者 update user set host='%' where user='username';命令后,仍然出现权限问题。

    解决方法:

    # service myqld stop /*停止mysql服务*/
    # usr/bin/mysqld_safe --skip-grant-tables /*启动mysql数据库安全模式*/
    /*另开一个控制台*/
    # mysql
    > use mysql;
    > update user set password=password('newpassword') where user='YOURUSERNAME';
    /*可能还要查询一下user表,将一些含有空值的重复用户名记录删除*/

    3. hive部署启动出错

    问题描述:http://doudouclever.blog.163.com/blog/static/1751123102013911111513970/

        提示:

    hive Required table missing : "`DBS`" in Catalog "" Schema " 

    enable ... autocreate ...。

    解决方法:

        修改 hive-site.xml最后面的datanucleus.fixedDataStore属性为false。

    4. hadoop无法启动nodemanager,可能是防火墙没有关闭。

    5. sqoop 导数据时,连接连接数据库出错,oracle 11+默认对大小写敏感,而sqoop中要求用户名和密码要大写字母,所以可能需要关闭数据库的大小写敏感属性。

    alter system set sec_case_sensitive_logon=false;

        



  • 相关阅读:
    eclipse里面已经提交的svn提交
    session 失效
    svn版本管理
    前端控制台调试经验
    python001环境搭建及入门 http://python.jobbole.com/81332/
    eclipse自己写makefile 建工程
    编码风格
    算法导论第22章22.2广度优先搜索
    vnc相关
    eclipse相关设置
  • 原文地址:https://www.cnblogs.com/wrencai/p/4004540.html
Copyright © 2011-2022 走看看