zoukankan      html  css  js  c++  java
  • 数据采集之Loader

    Loader是实现FusionInsight HD与关系型数据库、文件系统之间交换数据和文件的数据加载工具。

    • 提供可视化向导式的作业配置管理界面;
    • 提供定时调度任务,周期性执行Loader作业;
    • 在界面中可指定多种不同的数据源、配置数据的清洗和转换步骤、配置集群存储系统等。

    基于开源Sqoop研发,做了大量优化和扩展。

    Loader实现FusionInsight与关系型数据库、文件系统之间交换数据和文件,可以将数据从关系型数据库/文件服务器导入到FusionInsight HDFS/HBase/Hive中,或者反过来从Hadoop HDFS/HBase导出到关系型数据库/文件服务器中。

    Loader提供了本集群内部HDFS和HBase之间的数据导入/导出。

    RDB,Relational Data Base,关系型数据库。

    Customized Data Source:支持插件式,扩展外部数据源。

    Load特征:

    • 图形化,提供图形化配置、监控界面,操作简便。
    • 高性能,利用MapReduce并行处理数据。
    • 高可靠,Loader Server采用主备双机。 作业通过MapReduce执行,支持失败重试。 作业失败后,不会残留数据。
    • 安全,Kerberos认证 作业权限管理。
  • 相关阅读:
    通过IDEA创建SpringMVC项目记录
    开发问题总结
    idea控制台乱码解决
    java获取文件是否文件夹
    oralce优化文章
    乱码踩坑记录
    oracle关于左连接失效的一些问题
    volatile关键字
    postman body formdata和xwwwformurlencoded区别
    [转][C#]ScottPlot
  • 原文地址:https://www.cnblogs.com/xiao02fang/p/14347642.html
Copyright © 2011-2022 走看看