zoukankan      html  css  js  c++  java
  • 最完整的历史记录hadoop

    课程主要涉及Hadoop Sqoop、Flume、Avro重要子项目的技术实战

    课程针对人群

    1、本课程适合于有一定java基础知识。对数据库和sql语句有一定了解,熟练使用linux系统的技术人员,特别适合于想换工作或寻求高薪职业的人士

    2、最好有Greenplum Hadoop、Hadoop2.0、YARN、Sqoop、FlumeAvro等大数据基础。学习过北风课程《Greenplum 分布式数据库开发入门到精通》、《全面深入Greenplum Hadoop大数据分析平台》、《Hadoop2.0、YARN深入浅出》、《MapReduce、Hbase进阶提升》为最佳。学习QQ704271672

    课程大纲

    ?Sqoop(6课时)

    Sqoop产生背景、基本

    Sqoop1和Sqoop2架构及特点

    Sqoop1安装配置(版本号1.4.4)

    Sqoop导入介绍

    实战:从mysql导入数据到HDFS

    实战:从mysql导入数据到Hive

    Sqoop导出介绍

    实战:将Hive数据导出到Mysql

    Sqoop与Hbase结合

    Sqoop作业操作

    Sqoop作业安全配置

    Sqoop2安装配置(版本号1.99.3)

    Sqoop2使用综合实战

    ?Flume日志收集系统(7课时)

    Flume概念和特点

    Flume OG架构、组成、特点、容错机制设计

    日志收集系统综合比較

    Flume NG架构、核心概念

    Flume OG的安装

    Flume OG的配置(Web端、Flume shell)

    Flume NG的安装配置、測试

    Flume NG模块配置(Source、Channel、Sink)

    Flume NG配置实战分析

    ?Avro数据序列化系统(1课时)

    Avro介绍

    Avro特性、主要作用

    RPC使用Avro

    Avro与其他序列化系统的区别

    版权声明:本文博客原创文章。博客,未经同意,不得转载。

  • 相关阅读:
    阅读笔记(四)——《代码整洁之道》1
    阅读笔记(一)——《需求工程——软件建模与分析》一
    数据提取
    HIVE数据清洗练习
    第八周hadoop-MapReduce
    小程序新增页面导航栏
    个人课程总结
    第十六周总结

    排序
  • 原文地址:https://www.cnblogs.com/hrhguanli/p/4719253.html
Copyright © 2011-2022 走看看