zoukankan      html  css  js  c++  java
  • Sqoop的安装部署

      在root的用户下

    1):前提 安装JDK环境

    2):前提 安装Hadoop和Hive客户端环境,如果需要导出到HBase则需要安装HBase客户端

    3):下载sqoop : 命令: wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 

    4): 配置sqoop的环境变量,先去 profile的路径下先 :

            命令 :cd /etc/profile.d/

           新建一个文件 命令:vim sqoop-en.sh                                 

      export SQOOP_HOME=/usr/local/sqoop 
      export PATH=$PATH:$SQOOP_HOME/bin  

    /usr/local/sqooop的路径是我把解压的重命令为了sqoop并且我把它sqoop放到了/usr/local下
    5): 保存退出,使用source配置生效

             命令: source /etc/profile.d/sqoop-en.sh

    6):解压包, 改名称:sqoop, 放到/usr/local/ 路径下

    7):验证安装:  sqoop version

    8):Sqooop使用import工具导入数据例子

    命令:sqoop import --connect jdbc:mysql://localhost/hive --username root --password root--table TBLS -m 1 --target-dir /sqoop --append --fields-terminated-by " "

     ---:mysql://localhost/数据库

      --username 那个用户执行 --password 密码

    ---- TBLS 表

    -m 1可指定只使用1个map,这样只能得到一个保存在HDFS中的文件


      append参数,可以在原有目录上持续追加导入数据

    9):Sqoop使用codegen工具生成代码

    sqoop codegen --connect jdbc:mysql://localhost/hive --username root --password root --table TBLS --class-name TBLS.java

  • 相关阅读:
    七 HBase表结构设计
    六 一行数据存储到文件的过程。
    五、数据模型特殊属性
    四 数据模型操作
    三、 数据模型概念
    二、 HBase核心功能模块。
    一、 Hbase特性 3v特性,Volume(量级) Varity(种类) Velocity(速度)
    windows下安装redis
    redis缓存穿透和缓存雪崩
    java多线程四种实现方法
  • 原文地址:https://www.cnblogs.com/zhu520/p/7644765.html
Copyright © 2011-2022 走看看