zoukankan      html  css  js  c++  java
  • 第一次使用sqoop把数据从mysql导入到hadoop报错(坑2)

     ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
     
    命令如下:

    sqoop import
    --connect jdbc:mysql://hadoop001:3306/d6_hive --连接的mysql库
    --username root --password 123456 --登陆mysql的用户名和密码
    --delete-target-dir --删除目标目录的已存在表否则跑mapreduce会报错
    --table city_info --mysql里要导入hadoop 的表名
    --hive-import --导入 (这里的导入导出是以hadoop为出发点)
    --hive-table city_info --导入hive(这里的hive就是hadoop,因为hive是建立在hadoop上的数据仓库)的表名
    --hive-overwrite --覆盖原来的数据
    --fields-terminated-by ' ' --字段之间的分隔用tab键
    --lines-terminated-by ' ' --行与行之间用回车键
    --split-by city_id --根据city_id来当作主键进行分割
    -m 2--生成两个文件

     解决方法:

    往/etc/.bash_profile最后加入 export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*
    然后刷新配置,source /etc/.bash_profile

    然后再执行一次一般就可以了。

  • 相关阅读:
    怎么删除json 键值对
    解决html 图片缓存问题
    美工常用的网站分享
    小程序授权页面
    BitMap原理
    css页面加载动画
    可能这些是你想要的H5软键盘兼容方案
    关于范式 :1NF 2NF 3NF等
    Python3学习DAY4
    DTD相关
  • 原文地址:https://www.cnblogs.com/xuziyu/p/10551965.html
Copyright © 2011-2022 走看看