zoukankan      html  css  js  c++  java
  • 大数据课程笔记 1

    大数据技术

      分布式存储 = 集群分布式存储(谷歌技术为代表)

        分布式数据库(BigTable) 分布式文件系统(GFS)

      分布式处理

        分布式并行处理技术(MapReduce)

    计算模式

      1. 批处理:大规模数据的批量处理 MapReduce >> Spark 不满足实时性

      2. 流计算:处理源源不断数据流的实时计算

      3. 图计算:大规模图数据

      4. 查询分析计算:大数据交互式查询分析软件

    云计算? 解决海量数据的分布式存储和分布式处理 = 虚拟化 + 多租户

        企业租用云端资源 (购买百度云服务。。。

        公有云:百度云

        私有云:面向企业内部 电信

        混合云

        IaaS 基础设施即服务 出租计算资源与设施

        PaaS 平台即服务 应用开发者租用开发平台

        SaaS 软件即服务 申请云软件,在任何浏览器上访问,不用安装

        虚拟化:Hadoop >> Linux>>windows

        云计算数据中心:刀片服务器 建设在地质稳定 能稳定供电 气温低易于设备降温,减少耗电

    物联网? IoT the Internet Of Things

        感知层(摄像头 、 传感器)收集大量数据

        网络层 (电信网、互联网、专用网)

        处理层(网络管理平台 数据处理平台)

        应用层 (各类应用)

        关键技术 识别与感知

        

  • 相关阅读:
    【ICLR2018】Mixup 解读
    MobileNetV2 解读
    MobileNetV1 解读
    AdaIN 解读
    心灵奇旅
    SA-Net: Shuffle Attention for Deep Convolutional Neural Networks
    ShuffleNet V1 解读
    情人节看《唐探3》
    拆弹人
    内卷常态下的就业烦恼
  • 原文地址:https://www.cnblogs.com/luiyuying/p/12245138.html
Copyright © 2011-2022 走看看