一、项目简介
这是一个道路拥堵情况分析预测项目。
它利用Kafka提供数据，Redis存储结果，然后用逻辑回归进行模型训练，最后根据训练的模型预测道路未来是否拥堵。
二、项目结构
├─.idea
│ └─codeStyles
├─data
└─src
└─main
└─scala
└─vip
└─shuai7boy
├─trafficStreaming <!--ETL数据清洗-->
├─train <!--模型训练-->
└─util <!--工具类-->
三、数据源
文本文件每行的数据源格式如下：
'310999003001', '3109990030010220140820141230292','00000000','','2014-08-20 14:09:35','0',255,'SN', 0.00,'4','','310999','310999003001','02','','','2','','','2014-08-20 14:12:30','2014-08-20 14:16:13',0,0,'2014-08-21 18:50:05','','',' '
存储介质:
文本文件，Kafka，Redis，HDFS。
四、数据转换流程
1、通过从文本文件读取数据源，加载到Kafka主题
2、利用SparkStreaming从Kafka读取数据，将数据映射为：卡口号,(一分钟内汽车的速度和，车辆数) ，然后存入Redis。
3、从Redis取数据用于逻辑回归(LBFGS用于梯度下降)训练，训练出最近5个小时内，每三秒进行一次分类的模型。最后将模型存入HDFS，并把HDFS路径存入Redis。
4、从Redis读取路径，根据路径去HDFS找到模型文件，读取模型文件进行道路预测。