一.大数据组件分类:
1.计算类: hadoop,spark,flink,hive
2.传输类:kafka,flume,redis
3.存储类:hbase,mongodb,Cassandra
4.调度类:zookeeper 5.配置类:mesos,yarn
二.流行的框架SMACK
Spark Mesos Akka Cassandra Kafka
三.Apache
Zookeeper 分布式调度
Spark 计算
Kafka 中心化传输整合数据,面向服务
Cassandra 线性增加容量,节省资源,consistency可调节
Mesos 分布式任务调度系统,智能调度硬件资源
四.大数据大数据对框架和工具的要求:
高可用性,高性能,高可扩展性
五.常见大数据架构包括:
数据注入层(webserver等)
数据存储层
数据处理层
六.大数据技术人员两个大方向
做大规模高并发的线上服务
做大数据分析
七.大数据指的是规模超过现有数据库工具获取、存储、管理和分析能力的数据集，并同时强调并不是超过某个特定数量级的数据集才是大数据
八.国际数据公司（IDC）用四个维度的特征来定义大数据，即数据集的规模（Volume）、数据流动的速度（Velocity）、数据类型的多少（Variety）和数据价值的大小（Value）