1.1大数据时代
第一次浪潮:1980前后,个人计算机,诞生公司:IBM
第二次浪潮:1995前后,互联网普及
第三次浪潮:物联网、云计算、大数据
导致大数据时代到来
因素:
技术支撑:
1.存储:存储设备容量不断增加(个人数据不断增加、企业数据越来越多)
2.计算:CPU处理能力大幅提升
3.网络:网络带宽不断增加
经历三个阶段:
第一阶段:运营式系统阶段
第二阶段:用户原创内容阶段
第三阶段:感知式系统阶段(物联网的大规模普及)
大数据发展历程:
1.2 大数据概念和影响
特性:4V
1.数据量大:
大数据摩尔定律:每年多增长50%
2.多样化:
结构化数据与非结构化数据
3.快速化:
处理速度非常快;很多企业级应用都需要秒级决策
4.价值密度低:
大数据的影响:
1.第四种范式
第一种:实验
第二种:理论
第三种:计算
第四种:数据
2.在思维方式方面,颠覆传统的思维方式
1)全样而非抽样
2)效率而非精确(在第1个基础上)
3)相关而非因果
1.3 大数据的应用
影视剧的投拍:大数据分析软件
谷歌预测流感:实时掌握公民搜索相关信息
1.4 大数据的关键技术
五个层面:数据采集、(核心)数据存储与管理、数据处理与分析、数据隐私与安全
两大核心:分布式存储、分布式处理
分布式存储:Google公司为代表
大数据的计算模式:
不同的计算模式需要使用不同的产品
1.批处理计算:(实时性不够好)
代表产品:MapReduce,Spark
2.流计算:
实时处理、实时响应
3.图计算:
高效处理图结构的数据
4.查询分析计算(交互式查询):
代表:Hive等
1.5 大数据与云计算、物联网
云计算:
1.云计算解决问题:
两大核心:分布式存储、分布式处理
2.典型特征:
虚拟化、多用户
3.概念:
通过网络以服务的方式为用户提供非常廉价的IT资源
4.优势:
企业不需要自建IT基础设施,可以租用云端资源
5.三种模式:公有云、混合云、私有云
公有云:面向所有用户
私有云:面向企业内部
混合云:部分给自己、部分给外面
6.三种云服务:
1.IaaS:基础设施即服务
将基础设施作为服务出租
2.PaaS:平台即服务
用提供的平台资源开发、部署软件
3.SaaS:软件即服务
典型案例:云财务软件
7.云计算关键技术:
1.多租户
2.虚拟化:虚拟机、虚拟专用网(VPN)
3.分布式存储
4.分布式计算
8.云计算数据中心
数据中心包含有大量刀片服务器
数据中心建设位置:
地质构造稳定、天气凉爽
慕课链接:https://www.icourse163.org/learn/XMU-1002335004?tid=1003965001#/learn/announce