zoukankan      html  css  js  c++  java
  • sqoop数据迁移学习笔记


    一,sqoop概述

      1,sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。

      导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统。

      导出数据:从Hadoop的文件系统中导出数据到关系数据库

     二,工作机制

      将导入或导出命令翻译成mapreduce程序来实现。

      在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。

    三,sqoop环境安装

      1,下载解压。

      2,修改配置文件。在sqoop中的conf下mv sqoop-env-template.sh sqoop-env.sh

      3,vi sqoop-env.sh 并编辑

      export HADOOP_COMMON_HOME=/home/hadoop-2.6.1/

      export HADOOP_MAPRED_HOME=/home/hadoop-2.6.1/

      export HIVE_HOME=/home/hive-1.2.1

      4,加入mysql的jdbc的驱动包

      cp  /app/hive/lib/mysql-connector-java-5.1.28.jar   /sqoop/lib/

      5,验证启动,在sqoop的bin目录下 运行  sqoop-version

      预期输出

    1 15/12/17 14:52:32 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6
    2 Sqoop 1.4.6 git commit id 5b34accaca7de251fc91161733f906af2eddbe83
    3 Compiled by abe on Fri Aug 1 11:19:26 PDT 2015


      


      

      

  • 相关阅读:
    TApplication元件的OnIdle事件
    Query1AfterScroll 与 DataSource1DataChange 区别
    禁用表外键
    oracle al32utf8 字符长度
    Oracle表空间等操作
    delphi组件说明
    delhpi控件替换
    程序提示Google Internet Authority G2 证书不可用
    PostMessage用法
    OnKeyPress OnKeyDown区别
  • 原文地址:https://www.cnblogs.com/songweideboke/p/9827148.html
Copyright © 2011-2022 走看看