代码改变世界
[登录 · 注册]
  • SparkStreaming+Kafka整合
  • SparkStreaming+Kafka整合

    1.需求

    使用SparkStreaming,并且结合Kafka,获取实时道路交通拥堵情况信息。

    2.目的

    对监控点平均车速进行监控,可以实时获取交通拥堵情况信息。相关部门可以对交通拥堵情况采取措施。

    e.g.1.通过广播方式,让司机改道。

          2.通过实时交通拥堵情况数据,反映在一些APP上面,形成实时交通拥堵情况地图,方便用户查询。

    3.架构

    1.客户端产生数据,并且把数据发送到Kafka集群的spark-real-time-vehicle-log的topic中

    2.SparkStreaming从Kakfa集群的Topic: spark-real-time-vehicle-log中读取数据

    3.SparkStreaming使用窗口函数对数据流进行处理,每个5秒,处理过去1分钟的数据

    4.把结果打印(这里也可以把结果保存到关系型数据库,供WebUI显示)

    4.源码

    RealTimeVehicleSpeedMonitorMain

    5.效果 

    6.更多

    想要了解更多戳Spark Examples 准没错

    ========================================================

    More reading,and english is important.

    I'm Hongten

     

    大哥哥大姐姐,觉得有用打赏点哦!你的支持是我最大的动力。谢谢。
    Hongten博客排名在100名以内。粉丝过千。
    Hongten出品,必是精品。

    E | hongtenzone@foxmail.com  B | http://www.cnblogs.com/hongten

    ========================================================

  • 上一篇:Linux下getopt()函数
    下一篇:Hive+Sqoop+Mysql整合
  • 【推广】 阿里云小站-上云优惠聚集地(新老客户同享)更有每天限时秒杀!
    【推广】 云服务器低至0.95折 1核2G ECS云服务器8.1元/月
    【推广】 阿里云老用户升级四重礼遇享6.5折限时折扣!
  • 原文:https://www.cnblogs.com/hongten/p/hongten_sparkstreaming_kafka.html
走看看 - 开发者的网上家园