zoukankan      html  css  js  c++  java
  • 42讲轻松通关 Flink

    课程背景


    随着大数据时代的发展,互联网企业对数据的及时性要求越来越高,传统批处理的方式难以满足业务要求。解决实时数据处理的大数据领域最新计算框架:Flink ,以天然流式计算特性和更先进的架构设计,成为诸多互联网大厂大数据处理的首选。

    不仅阿里、百度、字节跳动、滴滴、腾讯等大厂使用 Flink ,越来越多的企业开始用 Flink 做数据处理。对于开发者来说,Flink 是进入大厂的敲门砖,也是在求职中获得更大议价空间的利器。


    专栏解读


    本专栏分为 5 个模块,以循序渐进的教学方式带你夯实理论基础,掌握实战技术,实现能力进阶,最后通关面试。

    在前两个模块中,主要让你对 Flink 有全面的认识,了解其应用场景、核心概念和原理,比如流批一体、计算资源、State、重启策略、并行度、窗口、时间、水印、CEP 等内容;

    之后的进阶篇和实战篇,是你掌握技术的重点,导师将带你深入实际的生产环境,进行实战项目的代码演练,帮你掌握 Flink 在不同业务场景的使用,巩固前两个模块所学内容,达到学以致用;

    在最后的面试篇,导师结合自己作为面试官的经验,总结出求职者必知必会的考点和技巧,从基础、进阶、源码、方案设计上,带你掌握面试要点,让你成为企业要找的那个人。


    课程讲师


    王知无,资深大数据工程师,曾在京东等一线互联网公司任职,主导和参与多个大型实时计算项目的开发和上线,在大数据平台、实时数据仓库、实时/离线计算中间件开发方面有丰富经验。目前,作者在一线互联网公司从事大数据平台建设,是公众号《大数据技术与架构》作者。

    课程大纲

    模块一:基础篇


    第01讲:Flink 的应用场景和架构模型
    第02讲:Flink 入门程序 WordCount 和 SQL 实现
    第03讲:Flink 的编程模型与其他框架比较
    第04讲:Flink 常用的 DataSet 和 DataStream API
    第05讲:Flink SQL & Table 编程和案例
    第06讲:Flink 集群安装部署和 HA 配置


    模块二:进阶篇


    第07讲:Flink 常见核心概念分析
    第08讲:Flink 窗口、时间和水印
    第09讲:Flink 状态与容错
    第10讲:Flink Side OutPut 分流
    第11讲:Flink CEP 复杂事件处理
    第12讲:Flink 常用的 Source 和 Connector


    模块三:生产实践篇


    第13讲:如何实现生产环境中的 Flink 高可用配置
    第14讲:Flink Exactly-once 实现原理解析
    第15讲:如何排查生产环境中的反压问题
    第16讲:如何处理生产环境中的数据倾斜问题
    第17讲:生产环境中的并行度和资源设置
    第18讲:如何进行生产环境作业监控
    第19讲:Flink 如何做维表关联
    第20讲:Flink 高级应用之海量数据高效去重
    第21讲:Flink 在实时计算平台和实时数据仓库中的作用


    模块四:高级实战篇


    第22讲:项目背景和整体架构设计
    第23讲:Mock Kafka 消息并发送
    第24讲:Flink 消费 Kafka 数据业务开发
    第25讲:Flink 中 watermark 的定义和使用
    第26讲:Flink 中的聚合函数和累加器的设计和使用
    第27讲:Flink Redis Sink 实现
    第28讲:TopN 热门商品功能实现
    第29讲:项目背景和实时处理系统架构设计
    第30讲:Flume 和 Kafka 整合和部署
    第31讲:Kafka 模拟数据生成和发送
    第32讲:Flink 和 Kafka 整合时间窗口设计
    第33讲:Flink 计算 PV、UV 代码实现
    第34讲:Flink 和 Redis 整合以及 Redis Sink 实现
    第35讲:项目背景和 Flink CEP 简介
    第36讲:自定义消息事件
    第37讲:自定义 Pattern 和报警规则
    第38讲:Flink 调用 CEP 实现报警功能


    模块五:面试篇


    第39讲:Flink 面试-基础篇
    第40讲:Flink 面试-进阶篇
    第41讲:Flink 面试-源码篇
    第42讲:Flink 面试-方案设计篇

    课程地址

  • 相关阅读:
    378. Kth Smallest Element in a Sorted Matrix
    295. Find Median from Data Stream
    857. Minimum Cost to Hire K Workers
    373. Find K Pairs with Smallest Sums
    767. Reorganize String
    无序列表
    有序列表
    缩写
    设计者详细信息
    强调
  • 原文地址:https://www.cnblogs.com/shitboy/p/13475732.html
Copyright © 2011-2022 走看看