zoukankan      html  css  js  c++  java
  • Storm流计算之项目篇(Storm+Kafka+HBase+Highcharts+JQuery,含3个完整实际项目)

    1.1、课程的背景
    
            Storm是什么? 为什么学习Storm? Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等, 大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的佼佼者和主流。 按照storm作者的说法,Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Hadoop提供了map、reduce原语,使我们的批处理程序变得简单和高效。 同样,Storm也为实时计算提供了一些简单高效的原语,而且Storm的Trident是基于Storm原语更高级的抽象框架,类似于基于Hadoop的Pig框架, 让开发更加便利和高效。本课程会深入、全面的讲解Storm,并穿插企业场景实战讲述Storm的运用。 淘宝双11的大屏幕实时监控效果冲击了整个IT界,业界为之惊叹的同时更是引起对该技术的探索。 学完本课程你可以自己开发升级版的“淘宝双11”,还等什么?
    
           Storm在大数据领域的影响已经不用多说,大数据实时性计算已经是发展趋势。目前在各大互联网、电商、电信、金融业等领域,Storm已经功不可没,被广泛应用在精准推荐、即时搜索、网站分析、监控告警、高频交易等领域。
    
    
    
    本课程完全呈现企业实际项目,具有如下五大亮点和七大目标:
    
    五大亮点:
    
        1、课程中完整开发3个Storm项目,均为企业实际项目,其中一个是完全由Storm Trident开发。
    
           项目源码均可以直接运行,也可直接用于商用或企业。
    
        2、每个技术均采用最新稳定版本,学完后会员可以从Kafka到Storm项目开发及HighCharts图表开发一个人搞定!让学员身价剧增!
    
        3、搭建CDH5生态环境完整平台,且采用Cloudera Manager界面化管理CDH5平台。让Hadoop平台环境搭建和维护都变得轻而易举。
    
        4、分享实际项目的架构设计、优劣分析和取舍、经验技巧,陡直提升学员的经验值。
    
        5、学习完此课程,学员完全具备追求IT行业高薪的能力。
    
     
    
    七大目标:
    
     
    
        1、全面掌握Storm完整项目开发思路和架构设计
    
        2、掌握Storm Trident项目开发模式
    
        3、掌握Kafka运维和API开发、与Storm接口开发
    
        4、掌握HighCharts各类图表开发和实时无刷新加载数据
    
        5、熟练搭建CDH5生态环境完整平台
    
        6、灵活运用HBase作为外部存储
    
        7、可以做到以一己之力完成从后台开发(Storm、Kafka、Hbase开发)到前台HighCharts图表开发、Jquery运用等,所有工作一个人搞定!
    
     就是说可以一个人搞定淘宝双11大屏幕项目!
    
    1、Storm应用前景和课程大纲介绍
    
     
    
    2、CDH5搭建之CM5安装部署
    
     
    
    3、CDH5搭建和CM界面化集群管理
    
     
    
    4、Hadoop、HBase、Zookeeper集群管理和角色分配
    
     
    
    5、Kafka基础知识和集群搭建
    
     
    
    6、Kafka基本操作和最优设置
    
     
    
    7、Kafka Java API 简单开发测试
    
     
    
    8、storm-kafka 详解和实战案例
    
     
    
    9、JS图表框架HighCharts介绍
    
     
    
    10、HBase 快速入门
    
     
    
    11、基于HBase的Dao基类和实现类开发一
    
     
    
    12、基于HBase的Dao基类和实现类开发二
    
     
    
    13、【项目1-地区销售额】需求分析和架构设计
    
     
    
    项目1主要技术点:
    
    后台开发架构设计
    
    前台开发架构设计
    
    前后端数据实时交互
    
    HighCharts图表开发
    
    图表秒级无刷新实时展示
    
    3D柱图、条形图、柱子图展示效果
    
     
    
    14、【项目1-地区销售额】Spout融合Kafka Consumer及线程安全测试
    
     
    
    15、【项目1-地区销售额】Bolt业务逻辑处理一
    
     
    
    16、【项目1-地区销售额】优化Bolt支持重启及结果数据核查
    
     
    
    17、【项目1-地区销售额】HighCharts图表开发一及Web端架构设计
    
     
    
    18、【项目1-地区销售额】HTTP长链接实现实时推送
    
     
    
    19、【项目1-地区销售额】HighCharts图表开发二及jquery运用
    
     
    
    20、【项目1-地区销售额】Web端完善和细节优化
    
     
    
    21、【项目1-地区销售额】项目发布及总结
    
     
    
    22、【项目2-省份销售排行】项目需求分析和分区Trident Spout开发
    
    项目2为完全Storm Trident开发项目,主要技术点:
    
    采用双纵轴图表展示效果
    
    Storm Trident开发 
    
    采用Storm事务处理
    
    基于Hbase的Trident State
    
    DRPC分布式远程调用
    
    TopN,前N排行
    
     
    
    23、【项目2-省份销售排行】Trident 代码开发一
    
     
    
    24、【项目2-省份销售排行】Trident 代码开发二
    
     
    
    25、【项目2-省份销售排行】基于HBase存储的State运用
    
     
    
    26、【项目2-省份销售排行】双纵轴HighCharts图表开发一
    
     
    
    27、【项目2-省份销售排行】双纵轴HighCharts图表开发二
    
     
    
    28、【项目2-省份销售排行】双纵轴HighCharts图表开发三
    
     
    
    29、【项目2-省份销售排行】前台和图表交互开发和Top N实现
    
     
    
    30、【项目2-省份销售排行】Top N展示优化和项目总结
    
     
    
    31-40讲为【项目3-网站User Views数】内容,该项目会继续增加难度,
    
    展示图形为仿股票走势图的UV数实时分时走势图。
    
     
    
     
  • 相关阅读:
    插入排序
    关于“Scrum敏捷项目管理”
    结对编程体会
    PSP(3.13——3.15)以及周记录
    关于“类似软件的评价”作业(续)
    关于“代码规范”,“Review”和“Check list”(续)
    关于“类似软件的评价”作业
    关于“代码规范”,“Review”和“Check list”
    关于PSP(个人软件过程)
    软件工程管理——第一次作业
  • 原文地址:https://www.cnblogs.com/timssd/p/5380588.html
Copyright © 2011-2022 走看看