zoukankan      html  css  js  c++  java
  • Sqoop 是什么?(二)

      

      Sqoop 是传统数据库与 Hadoop 之间数据同步的工具,它是 Hadoop 发展到一定程度的必然产物,它主要解决的是传统数据库和Hadoop之间数据的迁移问题。
    Sqoop 是连接传统关系型数据库和 Hadoop 的桥梁。它包括以下两个方面:
      1、 将关系型数据库的数据导入到 Hadoop 及其相关的系统中,如 Hive和HBase。
      2、 将数据从 Hadoop 系统里抽取并导出到关系型数据库。
      Sqoop 的核心设计思想是利用 MapReduce 加快数据传输速度。也就是说 Sqoop 的导入和导出功能是通过 MapReduce 作业实现的。
    所以它是一种批处理方式进行数据传输,难以实现实时的数据进行导入和导出。

      1、sqoop 名字的来源:SQL-to-Hadoop

      2、我们可以把它看做成连接传统数据库和Hadoop的桥梁

        1)把关系型数据库中的数据(MySQL)导入到hadoop或者与其相关的系统比如HDFS 、hive 、Hbase

        2)把hadoop中的数据抽取出来,导入到关系型数据库中

      3、它的设计思想就是:利用MapReduce加快数据传输速度

  • 相关阅读:
    组队开发最后冲刺周第一次会议
    android 本地数据库sqlite的封装
    java 空指针异常造成的原因有哪些
    jsp usebean的使用
    PHP模拟登录并获取数据
    php rsa加密解密实例
    30个php操作redis常用方法代码例子
    官方微信接口(全接口)
    curl类封装
    网站微信登录
  • 原文地址:https://www.cnblogs.com/zlslch/p/6116321.html
Copyright © 2011-2022 走看看