大数据及hadoop简要概念

大数据

大数据简要概念

指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
需要新处理模式，才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据作用

主要解决：通过对海量数据的存储和分析计算，找出其中的价值。

数据单位

按顺序给出数据存储单位:bit、ByteKB、MB、GB、TB、PB、EB、ZB、YBBB、NB、DB。i Byte= 8bit ik=1024byte IMB=1024KlG=1024M1T=1024G1P=1024T

大数据特点

数据量大、增速快、格式多样（除了文本文件还有视频图片等等）、价值密度低（需要从大量数中分析才能得出）。

Hadoop

Hadoop简要定义

Hadoop是一个由 Apache开发的开源的分布式存储计算处理平台。
广义上来说, HADOOP通常是指一个更广泛的概念HADOOP生态。

Hadoop作用

主要解决大数据的存储和分析计算问题。
日志分析、搜索引擎、商业智能、数据挖掘等。

Hadoop版本

三大发行版本Hadoop三大发行版本: Apache、 Cloudera、 Hortonworks
Apache版本最原始(最基础)的版本,对于入门学习最好。
Cloudera在大型互联网企业中用的较多
Hortonworks文档较好。

Hadoop优点

高扩展、低成本、有成熟的生态圈

Hadoop组成

Hadoop的组成（2.x及以上版本）包括三个核心组成
HDFS:分布式文件系统,存储海量的数据
Mapreduce:并行处理框架,实现任务分解和调度
Yarn:负责资源调度

Hdfs文件存储

HDFS中有两类节点Namenode和 Datanode
注意：
格式化namenode,会产生新的集群namenode的集群id和datanode的集群id不一致,集群找不到己往数据。所以,格式 Namenode时,一定要先删除data数据和logs日志,然后再格式化 Namenode。

Namenode是管理节点, 存放文件元数据

1. 文件与数据块的映射表
2. 数据块与数据节点的映射表

DateNode是HDFS的工作节点,存放数据块

Hdfs体系结构：

数据读取：用户需要获取数据，先去namenode上得到这个数据分布在那个datanode等相关元数据，然后去读取。
数据分布：三副本模式，存储在两个机架的三个节点上
心跳检测：datanode定时向namenode发送心跳数据
二级namenode: namenode会定期同步数据到二级namenode，如果namenode出问题了就会将二级namenode备胎转正

读取流程

数据写入流程：

hsfs数据写入流程

HDFS的特点

1、数据冗余,硬件容错
2、流式的数据访问
3、存储大文件

适用性和局限性

适合数据批量读写,吞吐量高，
适合一次写入多次读取,顺序读写，不支持多用户并发写相同文件
不适合交互式应用,低延迟很难满足

MapReduce并行处理框架,实现任务分解和调度

简要概念

分而治之,一个大任务分成多个小的子任务(map)并行执行后,合并结果( reduce)

场景

有一千副扑克牌，但是少了一张，如何知道少了那一张呢？

1. 先每个人分一部分，
2. 然后各自都按照某个规则进行归类，如每个花色和数字出现的次数的进行整理，
   红桃A 19张
   黑桃B 50张等
3. 然后交换数据，将相同花色相同数字的进行reduce合并
   红桃A 1000张
   黑桃B 999张

4. 输出数据，可以看出少了那张

   
   
   
   

   数据处理流程
   
   

   相似的使用场景，如日志分析
   比如我们有半年的日志，想分析出每个ip的访问量也可以这么做

MapReduce体系结构

MapReduce体系结构

Jobtracker负责任务拆分，拆分为map任务和reduce任务
Jobtrackere的角色①作业调度②分配任务、监控任务执行进度③监控 Tasktracker的状态
taskTracker负责任务执行
Tasktrackere的角色①执行任务②汇报任务状态

MapReduce的执行流程

作业执行过程

Mapreduce的容错机制

1． 重复执行
2． 推测执行，发现某个任务的执行超慢，就将这个任务在另一个节点上让他也去执行，做同样的执行，防止某一两个taskTracker异常导致整个任务失败的情况

Yarn负责资源调度

模块解释

1. Resourcemanager(rm):处理客户端请求、启动/监控 Applicationmaster、监控 Nodemanager、资源分配与调度:NodeManager
2. Nodemanager(nm):单个节点上的资源管理、处理来自 Resourcemanager的命令、处理来自 Applicationmaster的命令
3. ApplicationMaster:数据切分、为应用程序申请资源,Node并分配给内部任务、任务监控与容错。

4. Container:对任务运行环境的抽象,封装了CPU、内ContainerContainer存等多维资源以及环境变量、启动命令等任务运行相关的信息

   
   
   
   

   YARN 架构及各角色职责

MRAppMaster介绍

MRAppMaster是MapReduce的ApplicationMaster实现，它使得Map
Reduce可以直接运行在YARN上，它主要作用在于管理作业的生命周期：
1.1作业的管理：作业的创建，初始化以及启动等
1.2向RM申请资源和再分配资源
1.3Container的启动与释放
1.4监控作业运行状态
1.5作业恢复

调度流程

1.用户向YARN中（RM）提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。
2.ResourceManager为该应用程序分配第一个Container，ResouceManag与某个NodeManager通信，启动应用程序ApplicationMaster，NodeManager接到命令后，首先从HDFS上下载文件(缓存），然后启动ApplicationMaser。
3当ApplicationMaster启动后，它与ResouceManager通信，以请求和获取资源。ApplicationMaster获取到资源后，与对应NodeManager通信以启动任务。
注：
1.如果该应用程序第一次在给节点上启动任务，则NodeManager首先从HDFS上下载文件缓存到本地，这个是由分布式缓存实现的，然后启动该任务。
2.分布式缓存并不是将文件缓存到集群中各个结点的内存中，而是将文件换到各个结点的磁盘上，以便执行任务时候直接从本地磁盘上读取文件。
4.ApplicationMaster首先向ResourceManager注册，这样用户可以直接通过ResourceManage查看应用程序的运行状态，然后它将为各个任务申请资源，并监控它们的运行状态，直到运行结束，即重复步骤5~8
5.ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源
6.一旦ApplicationMaster申请到资源后，ApplicationMaster就会将启动命令交给NodeManager,要求它启动任务。启动命令里包含了一些信息使得Container可以与ApplicationMaster进行通信。
7.NodeManager为任务设置好运行环境（包括环境变量、JAR包、二进制程序等）后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务（Container）。
8.在应用程序运行过程中，用户可随时通过RPC向ApplicationMaster查询应用程序的当前运行状态
9.应用程序运行完成后，ApplicationMaster向ResourceManager注销并关闭自己。