2021年1月8日,MongoDB中文社区联合MongoDB官方、锦木信息、Tapdata和华为开展2020年MongoDB中文社区年终大会。
点击下方链接
即可观看线上会议回放
http://www.itdks.com/Home/Act/apply?id=5533
大会要点回顾
会议开场由社区常委会委员、北京分会主席李丹给大家介绍社区的基本情况,MongoDB中文社区是由技术大会、技术培训、技术问答、原创博客、文档翻译和线上活动板块组成,是专注于MongoDB的技术交流平台。
MongoDB究竟是一个怎样的数据库?
话不多说,MongoDB究竟是一个怎样的数据库?MongoDB中文社区委员及WiredTiger存储引擎专栏作者郭远威为我们进行整体解读:在云数据库和NewSQL时代,该有的的核心特性MongoDB早就有了,而且更好用!
将集群中的分片部署成复制集,实现故障自动恢复和高可用性。
原生分布式架构,通过分片Shard实现水平弹性伸缩。
3.6的版本以后MongoDB就向ACID 4个特性的事务看齐了,所以MongoDB不仅适用于分布式数据库场景,也支持传统关系型数据库应用场景。
MongoDB多种“读参考”模式,实现灵活的读写分离。
MongoDB模式自由,类JSON格式存储(最接近真实对象模型),对开发者友好。
MongoDB在数据库层面提供了强大的角色与权限控制,减少应用端的代码开发。
MongoDB的Change Streams特性实现实时同步数据的功能。
MongoDB原生高可用及分布式能力解析
在整体解读完MongoDB的核心特性之后,来自阿里云数据库的夏德军老师为我们带来MongoDB原生高可用及分布式能力解析。
和很多传统的开源数据库,比如 MySQL,PG 不同,MongoDB 从一开始就强调高可用的设计,并把它作为原生内置的能力,并持续迭代完善。
MongoDB 在设计和实现其高可用机制的同时,也融入了其可调一致性模型的设计,从而为用户在真实的场景中提供更丰富的一致性和延迟的选择。
MongoDB 同样提供优秀的原生水平扩展能力,其分布式事务的设计更是下了一盘大旗:单文档事务,混合逻辑时钟,因果一致性, WiredTiger Application Timestamp,多文档事务,分布式事务……细节和原理还有很多,值得对数据库原理感兴的同学持续研究学习。
夏老师分享干货满满,小编隔着屏幕都能感受到参会朋友的激动,可惜干货太多暂时放不下,最简单直接的还是推荐您直接观看回放啦!
MongoDB企业级能力解析
接下来,由来自阿里云数据库的郑涔老师为我们进行MongoDB企业级能力解析。
Change Stream是MongoDB 3.6版本新增的实现实时数据订阅功能。郑老师从特性、原理、断点续传、分片集群等方面对Change Stream进行全方位的解读。对于大家关心的事务,郑老师先介绍了MongoDB事务的发展路径,从Snapshot reads、Recover to A Timestamp、非阻塞备库读几个方面进行了介绍。并对MongoDB4.2新功能通配符索引进行介绍和原理解读。此外,还对阿里云MongoDB的发展和概要进行了介绍。
MongoDB内核源码分布式事务——华为云DDS团队在MongoDB源码能力构建上的实践分享
来自华为云DDS团队的崔鑫老师首先介绍了MongoDB作为Modern Database的High-Level Design。一是混合逻辑时钟(HLC)解决了不同Shard上物理时钟偏差等问题,使ChangeStream成为可能。二是MongoDB基于Raft协议去做复制集,WireTiger支持回滚到Raft的commit point。三是基于时间戳的事务,这是NewSQL的主流,WiredTiger和RocksDB都是原生具有时间戳事务接口的存储引擎。崔老师介绍了MongoDB的分布式事务,存储计算分离架构的GuassDB(for Mongo)具有的特性,并分享了DDS在MongoDB源码上的实践。
DDS基于MongoDB 4.X基线版本,走国产化路线;兼容4.2/4.4,同时开发国产化特性。介绍了DDS的核心功能和2021年路标。
MongoDB4.4新功能介绍及Atlas云服务概览
MongoDB于2020年发布4.4版本,我们把MongoDB 4.4视为一个用户驱动的工程。
MongoDB高级咨询顾问张春立老师从MQL+驱动、扩展、性能、弹性、安全、运维+集成、工具等方面为我们介绍了MongoDB 4.4的新功能,并介绍了MongoDB Atlas云服务。MongoDB在Forrester Wave 2019年第二季度的报告中评为数据库即服务市场的领导者。目前,MongoDB Atlas可以在Google Cloud,Microsoft Azure和AWS上使用。
下午我们进入实战经验分享。
数据中台企业应用我们用了MongoDB
首先由来自亚信科技的李锋为我们分享MongoDB在数据中台企业应用上的实践。李老师在接触MongoDB之前很希望用一个可扩展的灵活的数据结构去存储数据,遇到MongoDB可以算是一种很有默契的相识。
李老师从程序=数据结构+算法切入,分享MongoDB在移动计费系统上的应用以及在智慧工地建设上的实践。建筑集团数据量大,数据结构复杂,在智慧工地建设过程中面临着数据割裂、层级传递周期长易变形、空间上零散、数据统计滞后等困难。通过基于MongoDB和Tapdata的实时数据平台建设,实现实时信息直达总部,简单灵活快速落地,运营数据实时积累,一目了然。
MongoDB在视频行业的应用实践分享
去年我们聆听来自初始数据量几百T的字节跳动的分享,今年我们邀请咪咕视讯的卞维冬老师来分享。咪咕公司是跨三网(互联网、广电网和通信网)的新媒体国家队,有9亿移动用户基础。视频业务的不断快速发展,业务形态也是一直在变化,新的互动对象在不断产生,咪咕视频非结构化数据占比超过80%,还有些要考虑跟原来版本的一些兼容性问题。为了跟上业务变化的一个节奏,咪咕视讯在程序设计上就进行了一些抽象和改进,也采用MongoDB作为数据库。面对直播带货聊天室,红包、红包雨和礼品赠送,弹幕、互动评论,每日签到,积分兑换,影券赠送,附近的好友等,MongoDB结构灵活、直接记录嵌套数据、方便的地理位置查询很好地支持了相应的视频业务场景。
此外,卞老师还从在线数据读写压力、数据架构优化、数据备份几个方面分享了MongoDB在运维管理中的实践。
MongoDB on Kubernetes怎么玩?
Kubernetes让部署docker化的应用简单并且高效,提供了强大的API,可以出色的完成各式各样的调度、配置、管理、监控。为我们MongoDB的快速部署、灵活调整、监控管理提供了坚实的基础。那MongoDB on Kubernetes怎么玩?来自Tapdata钛铂数据的周乙老师为我们分享MongoDB在kubernetes中的架构,如何在kubernetes中快速部署各种规格的MongoDB,包括单机、复制集和分片集群,并分享了在实践过程中遇到的问题。
周老师还介绍了Tapdata正在做的事情,基于MongoDB构建实时数据服务平台。
MongoDB:热、温数据的最佳归宿
什么是热、温数据?面对互联网时代数据量剧增,如何保证数据库性能?来自锦木信息的严冶君老师为我们做了详细的介绍和分析。为什么MongoDB是热/温数据的最佳归宿?
MongoDB 灵活的数据模型,使得MongoDB可以承载多种数据源;
MongoDB 丰富的索引支撑,使得查询快速响应;无论MongoDB作为热数据还是温数据,都将会有不俗的反馈;
MongoDB 的在线水平拓展,使得应用无感知下,可以添加数据节点,并且进一步提升性能。
严老师还分享了自己的的意外收获:一是归档,二是备份,三是灾备,四是数据价值。
预告一下:锦木的归档平台 MigrationPlatform 近期将会正式发布开源版本。
OPPO万亿级文档数据库MongoDB集群性能优化实践
MongoDB丢数据、不安全、难维护?万亿级MongoDB集群性能如何优化?来自OPPO的杨亚洲老师分享了网络上部分用户对MongoDB产生误解的理解:
-
MongoDB本身很优秀,但是很多DBA和相应开发把控不住;
-
国内系统性分析MongoDB内核实现原理相关资料欠缺;
-
网络社会以讹传讹,DBA或者相关开发自身把控不住演变为MongoDB的锅。
出于对MongoDB的了解和肯定,杨老师摈弃偏见,在内部推广使用MongoDB,并通过自己扎实的技术功底和出色的表现,发挥了MongoDB的极大价值。
MongoDB机房多活方案-实现成本、性能、一致性"三丰收"
MongoDB线程模型瓶颈及其优化方法
并行迁移-集群扩容速率N倍提升优化实践
性能优化案例1.千亿级核心元数据MongoDB集群性能数倍提升优化实践
性能优化案例2.万亿级数据量MongoDB集群性能数十倍提升优化实践
成本节省-记某服务千亿级数据迁移MongoDB,百台SSD服务器节省优化实践
实战案例信手拈来,杨老师实干家的风格已让评论区跪倒一片~
杨老师还分享了如何实现MongoDB与SQL融合的展望,以及踩坑分享计划。欢迎各位朋友继续关注杨老师的分享!
MongoDB中文社区表彰
在大会分享结束之前,MongoDB中文社区主席TJ唐建法公布2020年MongoDB中文社区MongoDB应用案例及解决方案获奖结果,并对2020年社区成员对社区的贡献表示了极大的感谢,对年度突出贡献成员进行表彰。正是MongoDB中文社区成员的齐心协力和不懈努力为大家搭建了一个国内最大最活跃的MongoDB技术交流平台!
在此对社区成员朋友和支持我们的社区用户朋友再次表示极大的感谢!社区2021年将一如既往地将MongoDB最新资讯和一手实践干货分享给大家,同时也欢迎更多有志于在MongoDB的耕耘的朋友加入我们!
2020年MongoDB中文社区
杰出贡献奖及杰出创作奖
2020年MongoDB中文社区
杰出志愿奖
2020年MongoDB最佳创新案例
2020年MongoDB优秀应用案例
欢迎关注和加入MongoDB中文社区!
大会资料包
最后的最后,重点的重点来啦!大家想要的年终大会PPT等会议资料包来啦!
2020年MongoDB中文社区年终线上大会PPT等会议资料包
链接:https://pan.baidu.com/s/1w5yHwqDbTBAhAtqEGXc8ew
提取码:Ly0z
复制上方链接打开即可转存下载学习!欢迎来社区技术交流群继续交流!
感谢MongoDB官方、锦木信息、Tapdata和华为对本次活动的大力支持!还有诸多合作伙伴,感谢你们的支持和帮助!
主办方介绍及鸣谢
MongoDB中文社区( Mongoing.com)成立于2014年,是大中华区获得官方认可的中文社区,由博客、线下活动、技术问答、社群、官方文档翻译等版块组成。
中文社区的愿景是:为广大MongoDB中文爱好者创建一个活跃的互助平台;推广MongoDB成为企业数据库应用的首选方案;聚集 MongoDB开发、数据库、运维专家,打造最权威的技术社区。
Mongoing中文社区http://mongoing.com/
MongoDB是全球领先的现代通用数据平台,旨在助力开发人员及其构建的应用程序释放软件和数据的潜能,总部位于纽约,在全球40多个办公室中拥有超过2,100名员工。MongoDB有20,200余家客户遍布全球100多个国家和地区,并拥有18,000名Atlas客户和超过2,000,000名Atlas免费用户。MongoDB数据库平台已下载超过1.25亿次,MongoDB大学全球注册用户累计已超过150万人。
MongoDB官网https://www.mongodb.com/
上海锦木信息技术有限公司是国内领先的 MongoDB数据库服务提供商,是 MongoDB厂商官方合作伙伴。锦木信息始终坚守在数据技术领域扎实地实昽和前行,成为国内 MongoDB领域的新兴技术力量。服务的客户广泛分布于金融、电信、零售、航空等行业,助力用户完成从传统IT架构向互联网架构的顺利转型。
上海锦木信息技术有限公司http://www.jinmuinfo.com/
Tapdata,是基于MongoDB 的实时ETL及数据服务平台工具。我们的产品能够帮助那些缺乏专业数据工程师的企业提供产品化的数据解决方案。实时双向的数据同步+简单的数据治理及建模+无代码API服务式交付+百TB级亚秒级的性能,无论您是为您客户构建数据统一平台,还是构建一个横跨BU的企业级数据中台,Tapdata都可以为你提供低成本快速落地的一个有效技术方案。
深圳钛铂数据有限公司https://tapdata.net/
华为创立于1987年,是全球领先的ICT(信息与通信)基础设施和智能终端提供商。
华为云数据库基于华为云平台,致力于提供高可靠、高性能、高可用的云数据库服务,产品包括开源RDS数据库、自研GaussDB数据库。其中自研GaussDB系列提供全生态、全开放的数据库生态选择,涵盖MySQL、PG等主流关系型数据库,以及Mongo、Redis、Cassandra、Influx主流非关系型数据库。
华为技术有限公司https://www.huaweicloud.com/product/dbs.html
合作伙伴