zoukankan      html  css  js  c++  java
  • Sqoop的安装部署

      在root的用户下

    1):前提 安装JDK环境

    2):前提 安装Hadoop和Hive客户端环境,如果需要导出到HBase则需要安装HBase客户端

    3):下载sqoop : 命令: wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 

    4): 配置sqoop的环境变量,先去 profile的路径下先 :

            命令 :cd /etc/profile.d/

           新建一个文件 命令:vim sqoop-en.sh                                 

      export SQOOP_HOME=/usr/local/sqoop 
      export PATH=$PATH:$SQOOP_HOME/bin  

    /usr/local/sqooop的路径是我把解压的重命令为了sqoop并且我把它sqoop放到了/usr/local下
    5): 保存退出,使用source配置生效

             命令: source /etc/profile.d/sqoop-en.sh

    6):解压包, 改名称:sqoop, 放到/usr/local/ 路径下

    7):验证安装:  sqoop version

    8):Sqooop使用import工具导入数据例子

    命令:sqoop import --connect jdbc:mysql://localhost/hive --username root --password root--table TBLS -m 1 --target-dir /sqoop --append --fields-terminated-by " "

     ---:mysql://localhost/数据库

      --username 那个用户执行 --password 密码

    ---- TBLS 表

    -m 1可指定只使用1个map,这样只能得到一个保存在HDFS中的文件


      append参数,可以在原有目录上持续追加导入数据

    9):Sqoop使用codegen工具生成代码

    sqoop codegen --connect jdbc:mysql://localhost/hive --username root --password root --table TBLS --class-name TBLS.java

  • 相关阅读:
    PHP中读写文件
    Java和PHP在Web开发方面的比较
    CentOS yum安装 Apache + PHP + MySQL
    PHP 时间参数大全
    数据库结果太大,PHP超出内存限制
    PHP扩展配置?
    php 实现KMP算法
    OS + Linux Shell bash / sh / ksh / csh / tcsh / adb shell
    my soft / text tools / EmEditor / Notepad++ / UltraEdit / EditPlus / Sublime Text
    JAVA EE Projects_sourceforge
  • 原文地址:https://www.cnblogs.com/zhu520/p/7644765.html
Copyright © 2011-2022 走看看