zoukankan      html  css  js  c++  java
  • hadoop sqoop 实例

    hadoop sqoop (实例)day-1

    sqoop:是一款开源的工具,主要用于在Hadoop与传统的数据库(mysql)间进行数据的传递,可以将一个关系型数据库中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。

    实例一:(从mysql中导入表HDFS)

    创建脚本:vim sqoop-customer.sh

    #!/bin/bash

    sqoop import --connect jdbc:mysql://localhost:3306/数据库名 --table customers (customers为mysql表名) --username root --password ok --target-dir /data/user (创建导入hdfs的w文件名)

    实例二:(通过where语句过滤到hdfs)

    #!/bin/bash

    sqoop import --connect jdbc:mysql://localhost:3306/test --table customers --where "customer_id<10" --username root --password ok --delete-target-dir (如果原文件有则删除) --target-dir /data/user/customers

    实例三:(通过columns语句过滤到hdfs)

    #!/bin/bash

    sqoop import --connect jdbc:mysql://localhost:3306/test --table customers --columns "customer_id,customer_fname,customer_lname" --username root --password ok --delete-target-dir --target-dir /data/user/customers

    实例四:(通过select语句过滤到hdfs)

    #!/bin/bash

    sqoop import --connect jdbc:mysql://localhost:3306/test --query "select * from customer where customer_id=1and$CONDITIONS" --username root --password ok --split-by customer_id --delete-target-dir --target-dir /data/user/customers

    实例五:(append追加数据)

    #!/bin/bash

    sqoop import --connect jdbc:mysql://localhost:3306/test --table customers --username root --password ok --where 'customer_id<100' --incremental append --check-column customer_id --last-value 10 --target-dir /data/user/customers

  • 相关阅读:
    数据机构与算法学习(四)- 链表
    DFS深度优先
    LeetCode.98验证二叉树
    输入一个有符号整数,输出该整数的反转值。
    如何交换两个对象
    泛型简介,泛型类及使用
    一个普通的逻辑问题
    for循环
    第一次比赛唯一ACCEPT的题目笑哭
    输入100以内具有10个以上因子的整数 并输出它的因子
  • 原文地址:https://www.cnblogs.com/tudousiya/p/11241275.html
Copyright © 2011-2022 走看看