zoukankan      html  css  js  c++  java
  • 01_Hadoop学习笔记内容说明

    Hadoop学习笔记内容说明_00

    1、  观看云帆大数据梦琪老师的《企业级 Hadoop 1.x 应用开发基础课程》2014年4月左右版本。

    2、  博客是在梦琪老师的随堂笔记上改动的,方便的是自己以后回顾学习,也或许能给需要改方面帮助的同行提供些许帮助,在此非常感谢梦琪老师。

    3、  本系列是在CentOS6.4+hadoop1.2.1上实验通过的。

    4、  由于本人刚刚接触,对Linux也只是初步了解,实验过程中遇到比较奇葩的问题,也在此博客写出。

    5、  云帆大数据官网公布了一些公开的视频资源,大家可以前往学习。

    第一个专题

    Linux 系统环境搭建和基本命令使用:上课使用虚拟机,CentOS  6.4  64 位操作系统,基本命令要 熟悉,一次课时。

    二至五个专题Hadoop 1.x  系列的核心,基础)

    Hadoop 本地(单机)模式和伪分布式模式安装:Hadoop  1.x  理论知识,架构体系,安装模式, 认识 HDFS  文件系统,运行 MapReduce 程序 WordCount,如何查看 Hadoop  源码,Hadoop  1.x  包的 结构等等,三次课时

    HDFS 的体系结构、Shell 操作、Java  API 使用和应用案例:深入讲解 HDFS  相关内容,包括 HDFS 架构与设计,优缺点,如何存储文件;如何访问 HDFS  文件系统,HDFS Shell  命令行、JAVA API 方式 方式;讲解一些企业中的小案例,比如小文件存储处理、类似百度网盘的分析(使用 HDFS)等等, 三到四次课时

    MapReduce 入门、框架原理、深入学习和相关 MR 面试题:深入讲解 MapReduce,架构体系,执 行流程,MapReduce 执行细节,讲解 MapReduce 编写(WordCount):数据类型、输入输出格式、 Combine、Partitioner、Sort 和 Group,插入企业中 MapReduce  简单使用案例,七到八次课时

    Hadoop 集群安装管理、NameNode 安全模式和 Hadoop  1.x 串讲复习:属于 Hadoop  运维工程师 的课程,集群的安装部署(建立在伪分布式安装基础上)、NN SafeMode、Hadoop  管理员命令的使用。 添加节点(机器)、卸载节点(机器),监控 Hadoop  集群,三次课时

    第六至十个专题Hadoop 1.x 生态系统,HBase Hive

    HBase 入门、存储原理、Shell  命令、Java  API 操作和应用案例:分布式数据库(NoSql 数据库),

    类似于 Oracle 数据库,存储几十亿行数据,上万列数据。准实时查询,与 MR 很好的集成,进行计算 处理数据。体系架构、访问(Shell  和 API)、MapReduce、管理,深入的讲解,四次课时左右。

    Zookeeper 集群安装、回顾 HBase 和 MySql  5.1 安装与基本使用:主要为 HBase 和 Hive 基础理论 讲解。Zookeeper 协调 HBase,MySql 作为 Hive 元数据管理。两次课时。

    Hive 安装、配置元数据、HiveQL 语句学习和应用案例

    串讲复习 HDFS、MapReduce、HBase、Hive 和 Sqoop 安装与数据导入导出:整体复习,串讲 Hadoop、 HBase 和 Hive,在企业中如何使用,如何考虑,结合三者进行考虑。Sqoop 用于数据的导入导出,将 关系型数据库中的数据与 HBase 和 Hive 之间的相互导入导出。三次课时。

    答疑总结、任务调度 Azkaban 安装和使用:进行整个 Hadoop 1.x 课程的答疑,与项目的讲解, 讲 解任务调度框架,如何管理 Job、管理 Hive。

    第十一个专题

    Hadoop 2.2.0 介绍、集群安装和商业版 Hadoop 介绍:Hadoop 2.X 介绍,Hadoop 2.4.0  为基础讲解, 理论讲解:与 Hadoop  1.x  不同;优点在哪里。安装:分布式安装,HDFS 和 MapReduce  程序测试。 介绍商业版的 Hadoop:对 Apache  开源 Hadoop 版本的包括,CDH  Hortonworrsk,Interl,华为,IBM; 两次课时。

    第十二个专题

    Cloudera  Hadoop 介绍、CM4.8 安装和部署 CDH4.5:商业版 hadoop  CDH 的介绍,以及管理工具

    CM 的安装,两次课时。

  • 相关阅读:
    hive: insert数据时Error during job, obtaining debugging information 以及beyond physical memory limits
    hadoop性能调优
    mysql主键,外键,索引
    Hive语法
    Hbase配置java客户端
    Hive命令及操作
    sqoop:mysql和Hbase/Hive/Hdfs之间相互导入数据
    mysql字符设置
    linux及hadoop修改权限
    Scalaz(55)- scalaz-stream: fs2-基础介绍,fs2 stream transformation
  • 原文地址:https://www.cnblogs.com/xiangyangzhu/p/5242066.html
Copyright © 2011-2022 走看看