1.处理海量数据的核心技术
海量数据存储：分布式
海量数据运算：分布式
2.存储框架
HDFS-----分布式文件存储系统（HADOOP中的存储框架）
HBASE------分布式数据库系统
KAFKA-------分布式消息缓存系统（实时流式数据处理场景中应用广泛）
3.运算框架：（要解决的核心问题就是帮用户将处理逻辑在很多机器上并行）
MAPREDUCE----离线批处理/HADOOP中的运算框架，分布式运算编程框架，实现在很多机器上分布式并行计算
SPARK（本身就是框架）-----离线批处理
STORM------实时流式计算
4.辅助类的工具（解放大数据工程的繁琐工作）：
HIVE----数据仓库工具（只是个工具）：可以接受SQL，翻译成mapreduce或者spark程序运行
FLUME----数据采集（可以自动采集）
SQOOP----数据迁移
ELASTIC SEARCH---分布式的搜索引擎
5.hadoop中有3个核心组件
分布式文件系统:HDFS----实现将文件分布式存储再很多的服务器上
分布式运算编程框架：MAPREDUCE---实现在很多机器上分布式并行运算
分布式资源调度平台：YARN---帮用户调度大量的mapreduce程序，并合理分配运算资源
