大数据第二天 1.YARN(管理和调度集群中的各类资源) 1.1 产生的背景： 1.直接源于MR版本1的缺陷(如：单点故障、难以支持MR之外的计算框架等) 2.多计算框架各自为站，数据共享困难(如：MR离线计算框架 Storm实时计算框架 Spark内存计算框架) 1.2 架构(采用master-slave结构) ResourceManager（管理和调配YARN集群的资源） 特性：整个集群只有一个 作用： 处理客户端请求 启动和监控ApplicationMaster 监控NodeManager 资源分配和调度 容错性：存在单点故障（正在实现HA 即主备架构 主一旦挂掉，备切换） NodeManager（执行计算作业） 特性：可以多个 作用： 单个节点上的资源管理和任务管理 处理来自ResourceManager的命令 处理来自ApplicationMaster的命令 容错性：失败后，RM将失败任务告诉对应AM，由AM决定如何处理失败的任务 ApplicationMaster（负责应用程序的管理） 特性：每个应用有一个 作用： 数据切分 任务监控和容错 容错性：失败后由RM负责重启；AM需处理内部任务的容错问题；会自动保存已经运行完成的任务，重启后无需重新运行 Container（对任务运行环境的抽象） 系列信息： 任务启动命令 任务运行环境 任务运行资源 1.3 原理 1.客户端client发送任务请求给ResourceManager 2.ResourceManager收到请求后根据资源占用情况分配对应NodeManager 3.NodeManager收到ResourceManager的命令后开辟一个ApplicationMaster 4.ApplicationMaster对任务分析和数据切分后，将要占用的资源情况发送给ResourceManager 5.ResourceManager根据实时的资源占用情况进行动态分配资源 6.ApplicationMasterna拿到资源后再跟对应的NodeManager进行通信 7.NodeManager得到计算任务后，分配对应的Container容器来执行对应的Task任务 1.4 调度策略 a.双层调度策略 RM将资源分配给AM AM将资源进一步分配给各个任务 b.基于资源预留的调度策略 当资源不够时，会为任务预留，直到资源充足 1.5 YARN与计算框架的关系 如果YARN是安卓系统的話，那么计算框架就是系统中的一个APP 其中计算框架有： 基于离线计算框架————MR 基于内存计算框架————Spark 基于流式计算框架————Storm 2.MapReduce（基于离线计算框架） 2.1 MapReduce特点： 易于编程 良好的扩展性 高容错性 适合海量数据的离线处理 2.2 基本过程 Map阶段-Shuffle-Reduce阶段 Map阶段： 输入数据格式解析————InputFormat 输入数据处理————Mapper 数据分组————Partitioner Reduce阶段： 数据处理————Redecer 数据输出格式————OutputFormat 2.3 基本思想 大文件分为若干个小文件，计算各个小文件得到结果，然后再汇总输出 2.4 架构 采用YARN架构 2.5 应用场景 简单的数据统计 比如：网站的PV UV 搜索引擎建索引 海量数据查找 复杂的数据分析算法实现 比如：聚类、分类、推荐、图算法 2.6 Java编程 1.导jar包（旧包兼容2.0，新包不一定支持） 2.编写mapper 3.编写reduce 4.打包 5.发布