课程背景
随着大数据时代的发展,互联网企业对数据的及时性要求越来越高,传统批处理的方式难以满足业务要求。解决实时数据处理的大数据领域最新计算框架:Flink ,以天然流式计算特性和更先进的架构设计,成为诸多互联网大厂大数据处理的首选。
不仅阿里、百度、字节跳动、滴滴、腾讯等大厂使用 Flink ,越来越多的企业开始用 Flink 做数据处理。对于开发者来说,Flink 是进入大厂的敲门砖,也是在求职中获得更大议价空间的利器。
专栏解读
本专栏分为 5 个模块,以循序渐进的教学方式带你夯实理论基础,掌握实战技术,实现能力进阶,最后通关面试。
在前两个模块中,主要让你对 Flink 有全面的认识,了解其应用场景、核心概念和原理,比如流批一体、计算资源、State、重启策略、并行度、窗口、时间、水印、CEP 等内容;
之后的进阶篇和实战篇,是你掌握技术的重点,导师将带你深入实际的生产环境,进行实战项目的代码演练,帮你掌握 Flink 在不同业务场景的使用,巩固前两个模块所学内容,达到学以致用;
在最后的面试篇,导师结合自己作为面试官的经验,总结出求职者必知必会的考点和技巧,从基础、进阶、源码、方案设计上,带你掌握面试要点,让你成为企业要找的那个人。
课程讲师
王知无,资深大数据工程师,曾在京东等一线互联网公司任职,主导和参与多个大型实时计算项目的开发和上线,在大数据平台、实时数据仓库、实时/离线计算中间件开发方面有丰富经验。目前,作者在一线互联网公司从事大数据平台建设,是公众号《大数据技术与架构》作者。
课程大纲
模块一:基础篇
第01讲:Flink 的应用场景和架构模型
第02讲:Flink 入门程序 WordCount 和 SQL 实现
第03讲:Flink 的编程模型与其他框架比较
第04讲:Flink 常用的 DataSet 和 DataStream API
第05讲:Flink SQL & Table 编程和案例
第06讲:Flink 集群安装部署和 HA 配置
模块二:进阶篇
第07讲:Flink 常见核心概念分析
第08讲:Flink 窗口、时间和水印
第09讲:Flink 状态与容错
第10讲:Flink Side OutPut 分流
第11讲:Flink CEP 复杂事件处理
第12讲:Flink 常用的 Source 和 Connector
模块三:生产实践篇
第13讲:如何实现生产环境中的 Flink 高可用配置
第14讲:Flink Exactly-once 实现原理解析
第15讲:如何排查生产环境中的反压问题
第16讲:如何处理生产环境中的数据倾斜问题
第17讲:生产环境中的并行度和资源设置
第18讲:如何进行生产环境作业监控
第19讲:Flink 如何做维表关联
第20讲:Flink 高级应用之海量数据高效去重
第21讲:Flink 在实时计算平台和实时数据仓库中的作用
模块四:高级实战篇
第22讲:项目背景和整体架构设计
第23讲:Mock Kafka 消息并发送
第24讲:Flink 消费 Kafka 数据业务开发
第25讲:Flink 中 watermark 的定义和使用
第26讲:Flink 中的聚合函数和累加器的设计和使用
第27讲:Flink Redis Sink 实现
第28讲:TopN 热门商品功能实现
第29讲:项目背景和实时处理系统架构设计
第30讲:Flume 和 Kafka 整合和部署
第31讲:Kafka 模拟数据生成和发送
第32讲:Flink 和 Kafka 整合时间窗口设计
第33讲:Flink 计算 PV、UV 代码实现
第34讲:Flink 和 Redis 整合以及 Redis Sink 实现
第35讲:项目背景和 Flink CEP 简介
第36讲:自定义消息事件
第37讲:自定义 Pattern 和报警规则
第38讲:Flink 调用 CEP 实现报警功能
模块五:面试篇
第39讲:Flink 面试-基础篇
第40讲:Flink 面试-进阶篇
第41讲:Flink 面试-源码篇
第42讲:Flink 面试-方案设计篇