zoukankan      html  css  js  c++  java
  • 大数据概述 ——林子雨老师第一课

    大数据概念:数据量大,数据类型繁多,处理速度快,价值密度低 。

    大数据的影响: 思维方面:全样而非抽样,效率而非精确,相关而非因果。

    关键技术:数据采集,数据存储与管理,数据处理与分析,数据隐私和安全。

    两大核心技术:分布式存储:如GFS 和 HDFS

           分布式处理:如MapReduce 和 Spark

    计算模式:批处理计算:针对大规模的数据的批量处理                 技术:MapReduce,Spark等

         流处理:针对流数据的实时计算                                    技术:Storm等

         图计算:针对大规模图结构数据的处理                         技术: Pregel ,Graph等

         查询分析计算:大规模数据的存储管理和查询分析       技术:Dremel, Hive等

    云计算:实现了通过网络提供的可伸缩的,廉价的分布式计算能力。用户只需要在具备网络接入条件的地方,就可以随时随地获得所需的各种IT资源。

    云可分为:公有云,私有云和混合云。

    云计算分为:Saas(Software as a Service)软件即服务。 从一个集中的系统部署软件。并通过云购买。

         Paas(Platform as a  Service )平台即服务。 类似Iaas ,但它包括操作系统和围绕特定应用的必需服务。

         Iaas(Infrastructure as a Service) 基础设施即服务。 将基础设施作为服务出租。

          

    云计算关键技术:虚拟化,分布式存储,分布式计算,多租户。

    PS:图片摘自厦门大学林子雨老师在中国大学上的公开课《大数据技术原理与应用》。

  • 相关阅读:
    Django(72)Django认证系统库--djoser
    Django(71)图片处理器django-imagekit
    python进阶(21)typing模块--类型提示支持
    Jmeter 参数化-文件和参数同时上传的场景
    Java线程监控之 jvisualvm 和 jstack
    操作系统监控
    Redis安装部署
    Mac下charles安装及配置
    Prometheus 监控平台部署
    Nginx配置(九)
  • 原文地址:https://www.cnblogs.com/wobu/p/8672798.html
Copyright © 2011-2022 走看看