zoukankan      html  css  js  c++  java
  • HADOOP实战

    一、软件版本
    Centos6.5、VMware 10
    CDH5.2.0(Hadoop 2.5.0)
    Hive-0.13
    sqoop-1.4.5

    二、学完课程之后,您可以:
    ①、一个人搞定企业Hadoop平台搭建和运维工作;界面化高效运维和监控。
    ②、玩转Mapreduce编程;
    ③、玩转Hive使用
    ④、玩转Sqoop
    ⑤、独自搞定Hadoop平台的离线分析、统计的工作。成为高端技术人才!


    三、课程大纲
    1、分布式和传统单机模式
    2、Hadoop背景和HDFS详解
    3、Mapreduce工作原理剖析
    4、Cloudera Manager5.2.0 安装
    5、CDH5.2.0用Parcels方式离线安装
    6、CM下集群服务管理
    7、CM下集群主机管理和Hadoop作业调度策略
    8、Hadoop fs 命令详解
    9、第二代MR——Yarn原理剖析
    10、Linux下Eclipse及Hadoop插件安装配置
    11、【MR开发】常用API、官方examples包、WordCount改造
    12、【MR开发】以WordCount为例剖析Map-Reduce全过程
    13、【MR开发】实战,地区每日PV计算
    14、【MR开发】实战,地区每日UV计算(去重模式、多Job依赖)
    15、【MR开发】一个MR含多个依赖Job的开发实现
    16、Hadoop坏Block处理
    17、Hadoop存储均衡和单节点多磁盘间存储均衡
    18、Hive产生背景和架构原理
    19、Hive服务添加和元数据管理
    20、Hive托管表、外部表、分区表、存储结构
    21、Hive ql语法详解一
    22、Hive ql语法详解二,Cli、字段类型、overwrite
    23、Hive企业代码案例分享和hive -e工具封装一
    24、hive -e工具封装二
    25、Hive UDF开发和使用案例
    26、Hive Jdbc方式开发及利弊
    27、Hadoop平台数据处理流程一览及Sqoop抽取mysql数据到HDFS
    28、Sqoop export和--options-file 方式
    29、【综合项目】需求分析
    30、【综合项目】数据日志文件加载程序开发
    31、【综合项目】完善需求一
    32、【综合项目】流量需求二复杂开发

  • 相关阅读:
    前端之CSS
    前端之HTML
    数据库作业案例
    django进阶版4
    django进阶版3
    django进阶版2
    django初步了解4
    django进阶版1
    django初步了解3
    django初步了解2
  • 原文地址:https://www.cnblogs.com/RogerLu/p/9612498.html
Copyright © 2011-2022 走看看