zoukankan      html  css  js  c++  java
  • 网易微专业大数据工程师

    本微专业由国际知名教育集团Wiley开发,面向全球化需求,并由Boolan博览网结合国内应用进行扩充。助你系统掌握大数据必备技能和核心技术,包括工具选择,存储、编程、处理和管理数据架构等。
    全网独家大数据双语课程。英文内容,中文字幕,原版内容,保证质量。Wiley权威教育资源,顶尖国外公司高管、国内一线工程师协同开发,Boolan博览网学习服务支持。强强联手,打造最有特色的大数据课程。

    课程安排
    1、大数据基础必修
      做为一名大数据工程师,不仅仅要了解核心技术,还需要了解技术架构是如何和商业环境、业务需求相匹配的。本课程先对大数据技术进行整体介绍,包括它的概念和商业应用状况,并讲解存储、处理和管理大数据的技术架构,介绍 Hadoop 生态系统和 MapReduce 框架是如何支持大数据管理的,并结合企业需求,阐述大数据技术架构是如何高效地实现需求,以及如何灵活支持需求的变更。

    授课大纲

    大数据基础 大数据简介
    大数据的商业应用
    【实验】辨识大数据的商业应用
    大数据处理技术
    理解 Hadoop 生态系统
    【实验】本地安装Hadoop和Hive
    MapReduce 基础
    【实验】单节点安装Hbase
    管理大数据生态系统 大数据技术基础
    【实验】单节点安装 Pig
    大数据管理系统——数据库和数据仓库
    【实验】安装 Apache Flume
    分析大数据
    【实验】安装 Sqoop并连接到MySQL
    数据集成、实时数据和大数据实现
    【实验】安装 ZooKeeper
    大数据解决方案和动态数据
    【实验】安装 MongoDB


    2、大数据进阶(上)必修
      对大数据工程师来说,本门课程是非常核心的。将深入讲解 Hadoop、HBase 和 HDFS 的存储结构,细致练习 MapReduce 编程技能,精深学习 Hadoop 生态系统中的 Hive、Oozie 和 ZooKeeper 等工具。

    授课大纲:

    数据的保存和处理 在 Hadoop 中保存数据
    【实验】管理 Hbase 表中的记录
    用 MapReduce 处理数据
    【实验】开发MapReduce程序
    个性化设置MapReduce执行
    【实验】在实践中应用Hadoop MapReduce
    测试和调试 MapReduce程序
    【实验】在MapReduce中连接Hbase数据
    开发MapReduce WordCount程序
    【实验】运行WordCount—程序
    用 Hive、Pig和 Oozie   提高效率 探索 Hive
    【实验】熟悉Hive
    Hive高级查询
    【实验】使用Hive编写MapReduce程序
    用Pig分析数据
    【实验】运行Pig Grunt程序
    用Oozie做自动数据处理
    【实验】安装和配置 Oozie
    使用 Oozie
    创建 Oozie 工作流


    3、大数据进阶(下)必修
      本门课是 Wiley 大数据系列课程的进阶部分,将拓展您的视野,丰富您的武器库。首先会介绍更多的 Hadoop 工具,包括 ZooKeeper、Sqoop、Flume、YARN 和 Storm 等。然后讲解如何用 NoSQL 数据库处理无结构的大数据。接下来会介绍 Hadoop 的安全特性,如何在云端使用 Hadoop,和如何用 Hadoop 处理实时数据。最后会介绍若干种 Hadoop 的商业分发版。

    授课大纲:

    其它 Hadoop 工具:ZooKeeper、Sqoop、Flume、YARN 和 Storm 用 ZooKeeper 调度分布式处理
    【实验】配置Flume收集终端数据
    用Sqoop高效传输大量数据
    【实验】用Sqoop加载数据
    Flume
    【实验】配置Flume收集本地文件内容
    超越MapReduce——YARN
    【实验】配置Flume收集微博数据到HDFS
    在YARN上使用Storm
    【实验】安装Storm
    使用NoSQL和Hadoop:实时、安全和云 Hello NoSQL
    【实验】安装和使用Cassandra
    使用NoSQL
    【实验】使用MongoDB
    Hadoop安全
    在AWS运行Hadoop应用
    实时Hadoop
    用MapReduce实现WebCount
    商用Hadoop分布与管理工具 Cloudera基础与Cloudera管理
    在Cloudera上使用Hive与Cloudera管理
    Hortonworks与Greenplum Pivotal HD
    IBM InfoSphere BigInsights和MapR


    4、大数据开发必修
      本章主要着重hadoop和hbase的实际应用开发及讲解,重点让同学们获得如何去开发和一定的开发实践。也会为大家对必要的知识进行讲解。

    授课大纲:

    大数据开发基础上 HDFS原理介绍
    Hadoop开发实例
    【实验】编写hadoop应用代码
    YARN原理介绍
    MR原理介绍
    mapreduce开发实例上
    【实验】编写mapreduce
    大数据开发基础下 Hbase原理介绍
    Hbase开发实例
    【实验】编写hbase应用代码
    mapreduce开发实例中
    【实验】编写mapreduce
    大数据开发进阶 Hbase开发实例提高
    【实验】编写hbase代码
    mapreduce开发实例下
    【实验】编写mapreduce代码
    HBase提高篇 HBase bulkload代码讲解
    【实验】HBase   bulkload代码编写
    Hbase过滤器讲解
    【实验】编写hbase代码


    5、大数据实战必修
      大数据实战着重hadoop和hbase企业级应用,开篇以hadoop高可用和hbase高可用的搭建来实战部署企业的hadoop平台和hbase平台,后面的章节会有两个小型的项目进行开发及讲解,并会介绍一些在企业中常用的工具。

    授课大纲:

    搭建hadoop2 HA 搭建hadoop2 HA介绍
    搭建hadoop2 HA上
    【实验】搭建hadoop2 HA
    搭建hadoop2 HA下
    【实验】搭建hadoop2 HA
    搭建企业Hbase HBase搭建实战原理讲解
    搭建企业Hbase 上
    【实验】搭建Hbase
    搭建企业Hbase 下
    【实验】搭建Hbase
    Hadoop实战篇 Hbase协处理器实战上
    【实验】Hbase协处理器代码编写
    Hbase协处理器实战下
    【实验】Hbase协处理器代码编写
    Hbase二级索引
    【实验】二级索引代码编写
    Mapreduce实战
    【实验】项目代码编写

    :)

  • 相关阅读:
    CodeForces
    设计模式之装饰模式和代理模式区别与联系
    java反射 概念
    Java 反射详解 转载
    Spring--AOP 例子
    MD5加密
    面向对象编程思想(OOP)
    软件测试assert
    junit4.9测试用例 spring测试用例 Assert 注解
    断言
  • 原文地址:https://www.cnblogs.com/gotodsp/p/5838639.html
Copyright © 2011-2022 走看看