zoukankan      html  css  js  c++  java
  • 深入浅出Hadoop实战开发(HDFS实战图片、MapReduce、HBase实战微博、Hive应用)

    Hadoop是什么,为什么要学习Hadoop?


        
    Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。
       Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。Hadoop 还是可伸缩的,能够处理 PB 级数据。此外,Hadoop 依赖于社区服务器,因此它的成本比较低,任何人都可以使用。
       Hadoop带有用Java 语言编写的框架,因此运行在 Linux 生产平台上是非常理想的。本课程的讲解是采用linux平台进行模拟讲解,完全基于真实场景进行模拟现实

    亮点一:技术点全面,体系完善

       本课程在兼顾Hadoop课程知识体系完善的前提下,把实际开发中应用最多、最深、最实用的技术抽取出来,通过本课程,你将达到技术的新高点,进入云计算的美好世界。在技术方面你将彻底掌握基本的Hadoop集群;Hadoop HDFS原理;Hadoop HDFS基本的命令;Namenode的工作机制;HDFS基本配置管理;MapReduce原理; HBase的系统架构;HBase的表结构;HBase如何使用MapReduce;MapReduce高级编程;split的实现详解;Hive入门;Hive结合MapReduce;Hadoop的集群安装等众多知识点。
     

    亮点二:基础+实战=应用,兼顾学与练

    课程每阶段都安排了实战应用项目,以此方便学生能更快的掌握知识点的应用,如在第一阶段,课程结合HDFS应用,讲解了图片服务器的设计、以及如何利用Java API去对HDFS操作、在第二阶段;课程结合HBase实现微博项目的各种功能,使学员可以活学活用。在第三阶段:HBase和MapReduce结合时下了实现话单查询与统计系统,在第四阶段,Hive实战部分,通过实战数据统计系统,使学员在最短的时间内掌握Hive的高级应用。

     亮点三:讲师丰富的电信集团云平台运作经验

    讲师robby拥有丰富的电信集团工作经验,目前负责云平台的各方面工作,并拥有多年的企业内部培训经验。讲课内容完全贴近企业需求,绝不纸上谈兵。

    更多技术亮点参考课程大纲:(本大纲以章节形式命名要为防止某些章节1章节内容超过1课时)

    第1章节:
    > Hadoop背景
    > HDFS设计目标
    > HDFS不适合的场景
    > HDFS架构详尽分析
    > MapReduce的基本原理

    第2章节
    > Hadoop的版本介绍
    > 安装单机版Hadoop
    > 安装Hadoop集群

    第3章节 
    > HDFS命令行基本操作
    > Namenode的工作机制
    > HDFS基本配置管理

     第4章节
    > HDFS应用实战:图片服务器(1) - 系统设计
    > 应用的环境搭建 php + bootstrap + java
    > 使用Hadoop Java API实现向HDFS写入文件

    第5章节 
    > HDFS应用实战:图片服务器(2)
    > 使用Hadoop Java API实现读取HDFS中的文件
    > 使用Hadoop Java API实现获取HDFS目录列表
    > 使用Hadoop Java API实现删除HDFS中的文件


    第6章节
    > MapReduce的基本原理
    > MapReduce的运行过程
    > 搭建MapReduce的java开发环境
    > 使用MapReduce的java接口实现WordCount

    第7章节
    > WordCount运算过程分析
    > MapReduce的combiner
    > 使用MapReduce实现数据去重
    > 使用MapReduce实现数据排序
    > 使用MapReduce实现数据平均成绩计算

    第8章节
    > HBase详细介绍
    > HBase的系统架构
    > HBase的表结构,RowKey,列族和时间戳
    > HBase中的Master,Region以及Region Server


    第9章节
    > 使用HBase实现微博应用(1)
    > 用户注册,登陆和注销的设计
    > 搭建环境 struts2 + jsp + bootstrap + jquery + HBase Java API
    > HBase和用户相关的表结构设计
    > 用户注册的实现

    第10章节 
    > 使用HBase实现微博应用(2)
    > 使用session实现用户登录和注销
    > “关注"功能的设计 
    > “关注"功能的表结构设计
    > “关注"功能的实现


    第11章节
    > 使用HBase实现微博应用(3)
    > “发微博"功能的设计
    > “发微博"功能的表结构设计
    > “发微博"功能的实现 
    > 展现整个应用的运行

    第12章节 
    > HBase与MapReduce介绍
    > HBase如何使用MapReduce

    第13章节 

    > HBase应用实战:话单查询与统计(1)
    > 应用的整体设计
    > 开发环境搭建
    > 表结构设计

    第14章节 
    > HBase应用实战:话单查询与统计(2)
    > 话单入库单设计与实现
    > 话单查询的设计与实现

    第15章节
    > HBase应用实战:话单查询与统计(3)
    > 统计功能设计 
    > 统计功能实现

    第16章节 
    > 深入MapReduce(1)
    > split的实现详解
    > 自定义输入的实现
    > 实例讲解

    第17章节 
    > 深入MapReduce(2)
    > Reduce的partition 
    > 实例讲解

    第18章节 
    > Hive入门
    > 安装Hive
    > 使用Hive向HDFS存入结构化数据
    > Hive的基本使用


    第19章节 
    > 使用MySql作为Hive的元数据库
    > Hive结合MapReduce

    第20章节
    > Hive应用实战:数据统计(1)
    > 应用设计,表结构设计

    第21章节 
    > Hive应用实战:数据统计(2)
    > 数据录入与统计的实现
     

  • 相关阅读:
    软件工程实践2017第一次作业
    mysql卸载重装总是卡在starting server这一选项
    java web出现的问题
    c#中对文件进行解压同时进行解压后的数据操作
    添加debug里面的图片进行打印
    如何创建一个button控件,进行资源选择
    使用Graphics.DrawString如何实现textBox换行打印
    很有意思的一种两个数交换的方法
    将一个字符串进行反转;获取一个字符串在另一个字符串中出现的次数;获取两个字符串中最大相同子串。
    Comparator匿名实现
  • 原文地址:https://www.cnblogs.com/timssd/p/5380913.html
Copyright © 2011-2022 走看看