zoukankan      html  css  js  c++  java
  • 大数据测试之Hadoop的基本概念

    大数据测试之Hadoop的基本概念

     

         poptest是国内唯一一家培养测试开发工程师的培训机构,以学员能胜任自动化测试,性能测试,测试工具开发等工作为目标,也是国内最早探索大数据测试培训的机构,开发了独有的课程体系。如果对课程感兴趣,请大家咨询qq:908821478,咨询电话010-84505200。

    一、服务形式

           Saas(Software as a Service)基础设施作为服务、Paas(Platform as a service)平台作为服务、Iaas(Infrastructure as a Service)软件作为服务。

    二、云计算技术体系结构

          物理资源层:计算机、存储器、网络设施、数据库、软件。

          资源池层:计算资源池、存储资源池、网络资源池、数据资源池、软件资源池。

          管理中间层:负责资源管理、任务管理、用户管理和安全管理等工作。

          SOA构建层:服务接口、服务注册、服务查找、服务访问、服务工作流。

    三、HDFS文件系统

          HDFS:用于提供高吞吐量的分布式文件系统,用GFS实现开源。hadoop分布式软件架构的基础部件。默认每个数据块有两个备份,备份子不同的位置上。

          NameNode:HDFS集群中只有一个NameNode。管理文件系统所有的元数据,包括名字空间、访问控制信息、文件到块的映射信息、文件块的位置信息等。

          DataNode:部署在物理机器上,负责数据的存储和管理。名字节点用心跳和NameNode指示是否存活。

    四、MapReduce实现机制

           Map:数据的分片统计。

           Shuffle:数据从Maptask到Reducetask传输过程,是mapreduce的核心。

           Reduce:数据的聚合统计。

  • 相关阅读:
    【洛谷P4319】 变化的道路 线段树分治+LCT
    【洛谷P4585】 [FJOI2015]火星商店问题 线段树分治+可持久化trie
    Spring Framework Part4 self-summeries-a simplified MVC framework
    Spring Framework Part3 IoC and Dynamic Proxy
    Spring Framework Part2 IOC
    Big Data(一)分治思想
    排序算法(6.15)
    KMP算法(6.14)
    数据结构之查找(图片来源,老师PPT)
    MongoDB的基本操作
  • 原文地址:https://www.cnblogs.com/poptest/p/4978116.html
Copyright © 2011-2022 走看看