离线电商数仓（二）之用户行为数据采集（二）项目需求及架构设计

1 项目需求分析

2 项目框架

2.1 技术选型

2.2 系统数据流程设计

2.3 框架版本选型

框架版本选型

具体版本型号

2.4 服务器选型

2.5 集群资源规划设计

集群规模

2）测试集群服务器规划

服务名称	子服务	服务器 hadoop102	服务器 hadoop103	服务器 hadoop104
HDFS	NameNode	√
	DataNode	√	√	√
	SecondaryNameNode			√
Yarn	NodeManager	√	√	√
	Resourcemanager		√
Zookeeper	Zookeeper Server	√	√	√
Flume(采集日志)	Flume	√	√
Kafka	Kafka	√	√	√
Flume（消费Kafka）	Flume			√
Hive	Hive	√
MySQL	MySQL	√
Sqoop	Sqoop	√
Presto	Coordinator	√
	Worker		√	√
Azkaban	AzkabanWebServer	√
	AzkabanExecutorServer	√
Druid	Druid	√	√	√
服务数总计		13	8	9