大数据学习笔记
1.环境安装
安装vmware，需要密钥，安装之后在网络配置中可以找到vm1 和vm8两个网络，否则安装不成功
安装centos，官网下载比较慢，可以到清华镜像下载
安装finalshell或者xshell，通过远程ssh连接到linux，需要保证
- vmware中虚拟机配置正确
- win10系统中vm8网络配置ipv4正确
- 任务管理器中五个vm服务都运行，不行则打开服务，设置为自动
2.大数据流式计算
2.1什么是大数据流式计算
例子：自来水厂处理自来水
特点：实时性（源源不断）
2.2大数据离线计算与流式计算的区别
| 离线计算 | 流式计算 | |
|---|---|---|
| 代表技术 | MapReduce | Storm、Spark Streaming、Flink |
| 数据采集 | sqoop | Flume |
2.3Apache Storm 的体系结构
2.4实战：zookeeper
准备环境：
1.安装Linux Redhat7.4 64位
2.JDK 1.8 64位
3.配置密码登录
4.主机名
5.关闭防火墙
- 相当于是一个数据库
- 搭建一个单节点zk
- 安装步骤
- tar -zxvf zookeeper-3.4.10.tar.gz -C ~/Training/
- 设置环境变量 vi
2.5实战：搭建Apache Storm
2.6