zoukankan      html  css  js  c++  java
  • 大数据计数原理与应用——笔记——大数据概述

      大数据的由来:2010年前后第三次信息化浪潮,提出了物联网、云计算和大数据概念。

      大数据时代的计数支撑:存储设备容量不断增加、CPU处理能力大幅提升、网络带宽不断增加。【存储、计算、网络】

      数据产生方式的变革促成大数据时代的到来:运营式系统阶段——用户原创内容阶段——感知式系统阶段

        【运营活动产生的数据存储到数据库(数据是被动产生的)——web2.0时代用户原创内容(移动设备加速内容产生,数据是主动产生的)——感知式系统的广泛应用(摄像头等等传感器,每时每刻在产生数据)】

      大数据概念 

        大数据的特性(4V):  大量化Volume、快速化Velocity、多样化Variety、价值化Value

                    数据量大、处理速度快、数据类型繁多、价值密度低

        大数据摩尔定律:数据一直都在以每年50%的数据增长。

        大数据的思维方式:1、全样而非抽样  2、效率而非精确  3、相关而非因果

        大数据的关键技术:数据采集、数据存储和管理、数据处理与分析、数据隐私和安全

          两大核心技术:分布式存储、分布式处理

      大数据的计算模式

    计算模式 解决问题 代表产品
    批处理计算 针对大规模数据的批量处理 MapReduce、Spark等
    流计算 针对流数据的实时计算 Storm、S4、Flume等
    图计算 针对大规模图结构数据的处理 Pregel、GraphX、Giraph等
    查询分析计算 大规模数据的存储管理和查询分析 Dremel、Hive、Cassandra等

       大数据与云计算、物联网的关系

       云计算、大数据和物联网代表了IT领域最新的技术发展趋势,三者相辅相成,既有联系又有区别。

          云计算为大数据提供了技术基础,大数据为云计算提供用武之地。

          物联网是大数据的重要来源,大数据技术为物联网数据分析提供支撑。

          云计算为物联网提供海量数据存储能力,物联网为云计算技术提供广阔的应用空间。

        云计算概念:云计算实现了通过网络提供可伸缩的、廉价的分布是计算能力,用户只需要在具备网络接入条件的的房,就可以随时随地获得所需的各种IT资源。

        云计算的典型特点:解决了分布式存储了分布式处理的问题、虚拟化和多租户

        云计算的三个层次:基础设施服务(IaaS)、平台服务(PaaS)、软件应用服务(SaaS)

        物联网(IOT)概念:物联网是物物相连的互联网,是互联网的延伸,利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起,形成人与物、物与物相联,实现信息化和远程管理控制。

        物联网的层次架构:感知层——网络层——处理层——应用层

        物联网的关键技术:识别和感知技术(二维码、RFID、传感器等)、网络与通信技术、数据挖掘与融合技术

        

        

  • 相关阅读:
    IIS7用进程池的PID查找占用CPU的站点
    CSS中属性的书写顺序
    int[] 和 string[] 互换
    csv 文件的读取
    扩展 DataGridView 的功能(三)
    [音乐] the dream catcher
    雷人的面试
    将MP3文件嵌入到exe中并播放
    扩展 DataGridView 的功能(二)
    扩展DataGridView 的功能(四)
  • 原文地址:https://www.cnblogs.com/rix-yb/p/9608926.html
Copyright © 2011-2022 走看看