概述
昨晚在CCTV加班跨年，真是感慨很多呢，2020年在世界上对谁来说都是特殊难忘的一年。新冠病毒遍布了整个世界。而对于我自己呢？延迟返京，努力学习，面试找新工作。说大一些新冠改变了世界，也给了我坚定不移的信念。最终在成功收到几家公司的offer后，最后选择了腾讯投资的工资，而现在正在CCTV写2020年终总结。这个不仅是世界的改变，也是我公司的转变，也是我职场新的挑战的转变，也是我遇到更多贵人的转变。
技术知识综述
想来想去还是先写技术吧，虽然我现在是技术经理，但是老板也说无论从哪个方面看我，就知道我是搞技术的。我在中国人寿学到的技术栈如下：
1，storm，spark streaming（研发）。scala处理内部逻辑代码优化，shuffle优化，rdd优化，后台运行环境bug查看和解决，维护所有app。
2，kafka 的一致性，容错性，滞后性测试 和 hbase 吞吐量，GC方式，测试验证。
3，kafka源码整体了解，kafka平台API（新高级，低级）消费的多线程开发监控。
4，cdh集群搭建，kafka搭建优化，hadoop （hdfs、hbase、yarn）、spark搭建优化，redis集群搭建优化，elk集群搭建优化，storm集群搭建优化，gc优化。
5，搭建kerberos以及使用。
在面试自学过程学到的技术栈为：
1，kylin的使用和原理。
2，druid的使用和原理。
3，docker+k8s的搭建和使用原理。
4，ansible，prometheus的使用。
5，flink的原理和使用。
6，hbase原理知识的学习。
7，数据结构知识和ES原理。
现在进入腾讯体系，现在的数据中台技术栈如下：
1，boss蜂巢数据治理，数据规范，适配和订阅。
2，TDbank大数据采集交换平台。
3，tbds大数据套件类似于cdh和ambria。但是分开了后台和中台。
4，数据仓库建设。
5，BI数据分析。
6，归档媒资，管理视频。
7，蓝鲸的监控。
管理知识综述
2020年是具有挑战的一年，当然2021年有更大挑战的一年，那就是我的职务得变动，成为一个技术经理还要做好技术经理者的管理职能。所以我不得不学习项目管理知识：
1，管理者思维的转变，把眼光从关注自己到关注所有人的转变，以及以管理者的思维和视觉看待整个项目。
2，运维体系的搭建，目前我们负责的项目只是基础维保，没有一个支撑的运维体系，需要我联合大家搭建整个运维体系。
3，日常巡检机制和故障处理流程。以及日常变更的技术审核，即运维服务体系的搭建和完善，着重于服务。
实时计算技术栈
在实时计算中我使用了storm，spark，测试了flink。一开始使用storm处理人寿的保险表单的数据，进行流处理，消费kafka落地redis和hbase，由于 Trident 有着一致的、恰好一次的语义，因此推断出 Trident 拓扑的状态也是一件很容易的事，所以使用了trident技术，但是后来随着技术和业务扩充和技术迭代。我们考虑使用cdh统一管理大数据组件，当然当时没有使用ambari，主要考虑到界面友好性和客户体验的原因。而且cdh不支持storm所有使用了容易上手的微批处理spark streaming。当时也因为这个更换就重新招聘了一个新的spark技术负责人。后来自学了flink。觉得flink 的状态处理和checkpoint更好一下，但是这些只是在测试阶段。现在补充strom知识如下：storm学习笔记。
spark知识：spark学习笔记(一)
flink知识后续更新。
消息中间件kafka
kafka我在使用上最多，处理问题也是最多的组件之一了。当然也看过和学习过里边的源码，关于kafka的知识笔记我记录的是最多的，从业务上考虑，kafka作为人寿的消息中间件和消息来源，我的kafka学习笔记详见我的随笔记录：
kafka学习笔记（六）kafka的controller模块
自学知识的分享
疫情给我们带来痛苦，但是我可以我们可以把疫情化悲痛为力量，疫情允许我们远程上班，我就有大把的时间学习大数据体系的知识，我学了比较重要的K8S，知道了他的原理和搭建 ，网络是最值得关注的一部分，我学习了kylin和driud，时序数据库的处理架构，以及数据仓库的基础知识，这个对我现在的项目很重要。我学习的途径很简单，包括2个部分一个是花钱学习（腾讯课堂），一个是在B站学习丰富的知识。现在发现不好点让自己心疼点的钱是不会花时间好好学习的，当然也发现为了找到一个好的工作而学习，似乎比以前更加好学了。
腾讯大数据体系
有幸进入这个项目是我进入这个公司的第一个机遇，这里边引入和学习了数据中台的东西，总之受益匪浅，当然我更加幸运的是我参与了第一期的验收和第二期的开始。所以在数据中台的完善和服务方面还有很大的空间需要共同努力，如何形容这个机遇呢，千载难逢。
现在简单介绍一下数据中台体系：
所有业务客户端通过http形式上报数据到数据治理和数据适配的boss处理，然后是tdbank处理，不了解tdbank的详见此链接：https://data.qq.com/blog?category_id=72。当然这里有腾讯自研消息中间件tube，如果学习了kafka，那么学习tube就容易的多。整套体系是建立在腾讯云混合云的基础之上的，前面部分是公有云，之后就是大数据套件tbds支持数据仓库流批处理整合数据资产。数据仓库最终输出数据服务，然后前端BI进行展示。当然这是数据中台比较正常的套路和技术实现。但是建立腾讯云之上就有了整套可移植的基因。
这里面还有蓝鲸作为监控的支持，蓝鲸是腾讯内部一个很成熟的产品，作者也写过蓝鲸的随笔，请见：腾讯蓝鲸使用笔记
当然除了技术还有就是本人的管理职能了，这个是我2021年最大的挑战，希望可以给20211年交一份满意的答卷。
总结
2020是折腾的一年，不过因为折腾而更加强大，也是感恩的一年。2021年是开始的一年，无往不利，牛气冲天。冲天一啸做太公。