zoukankan      html  css  js  c++  java
  • 第一次使用sqoop把数据从mysql导入到hadoop报错(坑2)

     ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
     
    命令如下:

    sqoop import
    --connect jdbc:mysql://hadoop001:3306/d6_hive --连接的mysql库
    --username root --password 123456 --登陆mysql的用户名和密码
    --delete-target-dir --删除目标目录的已存在表否则跑mapreduce会报错
    --table city_info --mysql里要导入hadoop 的表名
    --hive-import --导入 (这里的导入导出是以hadoop为出发点)
    --hive-table city_info --导入hive(这里的hive就是hadoop,因为hive是建立在hadoop上的数据仓库)的表名
    --hive-overwrite --覆盖原来的数据
    --fields-terminated-by ' ' --字段之间的分隔用tab键
    --lines-terminated-by ' ' --行与行之间用回车键
    --split-by city_id --根据city_id来当作主键进行分割
    -m 2--生成两个文件

     解决方法:

    往/etc/.bash_profile最后加入 export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*
    然后刷新配置,source /etc/.bash_profile

    然后再执行一次一般就可以了。

  • 相关阅读:
    1043. 输出PATest(20)
    1042. 字符统计(20)
    1041. 考试座位号(15)
    1040. 有几个PAT(25)
    1035. 插入与归并(25)
    栈:火车进站
    ABC Fennec VS. Snuke
    费解的开关
    最短Hamilton路径
    built?
  • 原文地址:https://www.cnblogs.com/xuziyu/p/10551965.html
Copyright © 2011-2022 走看看