zoukankan      html  css  js  c++  java
  • sqoop简单介绍

    一简介
    Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
     
    二特点
    Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。
    三 Sqoop 命令
    Sqoop大约有13种命令,和几种通用的参数(都支持这13种命令),这里先列出这13种命令。
    接着列出Sqoop的各种通用参数,然后针对以上13个命令列出他们自己的参数。Sqoop通用参数又分Common arguments,Incremental import arguments,Output line formatting arguments,Input parsing arguments,Hive arguments,HBase arguments,Generic Hadoop command-line arguments,下面一一说明:
    1.Common arguments
    通用参数,主要是针对关系型数据库链接的一些参数
     
    四  sqoop命令举例
    1)列出mysql数据库中的所有数据库
     
    sqoop list-databases --connect jdbc:postgresql://host/database --username username --password password

    3)将关系型数据的表结构复制到hive中,只是复制表的结构,表中的内容没有复制过去。

    2.sqoop create-hive-table --connect jdbc:postgresql://host/database --table trace_log_2015_07_27 --username username --password password --hive-table tmp.trace_log_2015_07_27
    

      

  • 相关阅读:
    Javascript面向对象(三):非构造函数的继承
    Javascript面向对象(二):构造函数的继承
    Javascript 面向对象(一):封装
    .NET面试题系列[12]
    .NET面试题系列[11]
    .NET面试题系列[10]
    .NET面试题系列[9]
    .NET面试题系列[8]
    .NET面试题系列[7]
    .NET面试题系列[6]
  • 原文地址:https://www.cnblogs.com/duanxingxing/p/4686472.html
Copyright © 2011-2022 走看看