zoukankan      html  css  js  c++  java
  • 第一次使用sqoop把数据从mysql导入到hadoop报错(坑2)

     ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
     
    命令如下:

    sqoop import
    --connect jdbc:mysql://hadoop001:3306/d6_hive --连接的mysql库
    --username root --password 123456 --登陆mysql的用户名和密码
    --delete-target-dir --删除目标目录的已存在表否则跑mapreduce会报错
    --table city_info --mysql里要导入hadoop 的表名
    --hive-import --导入 (这里的导入导出是以hadoop为出发点)
    --hive-table city_info --导入hive(这里的hive就是hadoop,因为hive是建立在hadoop上的数据仓库)的表名
    --hive-overwrite --覆盖原来的数据
    --fields-terminated-by ' ' --字段之间的分隔用tab键
    --lines-terminated-by ' ' --行与行之间用回车键
    --split-by city_id --根据city_id来当作主键进行分割
    -m 2--生成两个文件

     解决方法:

    往/etc/.bash_profile最后加入 export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*
    然后刷新配置,source /etc/.bash_profile

    然后再执行一次一般就可以了。

  • 相关阅读:
    对于Sobel算子的学习
    HDU 2594(求最长公共前后缀 kmp)
    HDU 6108(整除判断 数学)
    HDU 5968(异或计算 暴力)
    HDU 5963(游戏 博弈+规律)
    简单算法考题记录
    flex与bison
    C++ 智能指针
    Linux 添加设备驱动程序
    Linux 添加系统调用
  • 原文地址:https://www.cnblogs.com/xuziyu/p/10551965.html
Copyright © 2011-2022 走看看