zoukankan      html  css  js  c++  java
  • 大数据技术原理与应用:【第一讲】大数据概论

    1.1大数据时代

    第一次浪潮:1980前后,个人计算机,诞生公司:IBM

    第二次浪潮:1995前后,互联网普及

    第三次浪潮:物联网、云计算、大数据

    导致大数据时代到来

    因素:

    技术支撑:

    1.存储:存储设备容量不断增加(个人数据不断增加、企业数据越来越多)

    2.计算:CPU处理能力大幅提升

    3.网络:网络带宽不断增加

    经历三个阶段: 

    第一阶段:运营式系统阶段

    第二阶段:用户原创内容阶段

    第三阶段:感知式系统阶段(物联网的大规模普及)

    大数据发展历程:

    1.2 大数据概念和影响

    特性:4V

     1.数据量大:

    大数据摩尔定律:每年多增长50%

    2.多样化:

    结构化数据与非结构化数据

    3.快速化:

    处理速度非常快;很多企业级应用都需要秒级决策

    4.价值密度低:

    大数据的影响:

    1.第四种范式

    第一种:实验

    第二种:理论

    第三种:计算

    第四种:数据

    2.在思维方式方面,颠覆传统的思维方式

    1)全样而非抽样

    2)效率而非精确(在第1个基础上)

    3)相关而非因果

    1.3 大数据的应用

    影视剧的投拍:大数据分析软件

    谷歌预测流感:实时掌握公民搜索相关信息

    1.4 大数据的关键技术

    五个层面:数据采集、(核心)数据存储与管理、数据处理与分析、数据隐私与安全

    两大核心:分布式存储、分布式处理

    分布式存储:Google公司为代表

    大数据的计算模式:

    不同的计算模式需要使用不同的产品

    1.批处理计算:(实时性不够好)

    代表产品:MapReduce,Spark

    2.流计算:

    实时处理、实时响应

    3.图计算:

    高效处理图结构的数据

    4.查询分析计算(交互式查询):

    代表:Hive等

    1.5 大数据与云计算、物联网

    云计算:

    1.云计算解决问题:

    两大核心:分布式存储、分布式处理

    2.典型特征:

    虚拟化、多用户

    3.概念:

    通过网络以服务的方式为用户提供非常廉价的IT资源

    4.优势:

    企业不需要自建IT基础设施,可以租用云端资源

    5.三种模式:公有云、混合云、私有云

    公有云:面向所有用户

    私有云:面向企业内部

    混合云:部分给自己、部分给外面

    6.三种云服务:

    1.IaaS:基础设施即服务

    将基础设施作为服务出租

    2.PaaS:平台即服务

     用提供的平台资源开发、部署软件

    3.SaaS:软件即服务

    典型案例:云财务软件

    7.云计算关键技术:

    1.多租户

    2.虚拟化:虚拟机、虚拟专用网(VPN)

    3.分布式存储

    4.分布式计算

    8.云计算数据中心

    数据中心包含有大量刀片服务器

     

    数据中心建设位置:

    地质构造稳定、天气凉爽

    慕课链接:https://www.icourse163.org/learn/XMU-1002335004?tid=1003965001#/learn/announce

  • 相关阅读:
    团队与领导力健康检查 | 体检表
    如何改变组织文化
    如何在各种文化背景下成功敏捷
    OKR痛点与误区 | 敏捷家分享007
    Scrum培训感想
    如何讲好故事
    Lc70_爬楼梯
    Lc641_设计循环双端队列
    Lc32_最长有效括号
    Lc239_滑动窗口最大值
  • 原文地址:https://www.cnblogs.com/musecho/p/10991125.html
Copyright © 2011-2022 走看看