zoukankan      html  css  js  c++  java
  • Sean Lynch谈Facebook Claspin监控工具的由来

    InfoQ中文站曾经报道过Facebook的工具文化,Claspin就是该文化的产物,形象来说,Claspin就是Cache的健康热图。该工具的创始人Sean Lynch在一篇博客中分析了它的由来。

    Sean Lynch在Facebook担任应用运维工程师,他加入的是产品工程部门新成立的缓存性能团队。Sean在一篇博客中提到该团队的目标:

    处理多种缓存系统的健康问题,同时加快问题处理和解决过程,该过程要先回答这个问题:“这个问题是缓存引起的么?”

    最后,Sean所在的团队开发了一个监控工具Claspin,使用易于解读的热度图展示缓存系统情况。接下来,Sean先深入介绍了Facebook的缓存工作机制。

    Facebook有两个主要的缓存系统:Memcache,该系统相对简单,复杂度都在客户端;TAO,缓存图数据库,自己完成对MySQL的查 询。在这两个系统之间,我们有几千个图标,有些将数据收集到Dashboard中,展示客户端和服务器收集到的不同的延迟、请求率、错误率统计数据。这些 图表和Dashboard的大多数都由Facebook的“Operations Data Store”支撑,简称为ODS。一开始,这种机制没有问题,但随着Facebook在规模和复杂度方面的不断增加,想知道哪里出了问题变得越来越困难。 因此,我开始想:如何把这些已经积累下来的数据、经验和知识用起来,辅助解决问题,让人们只要卡看一眼,就知道缓存现在的状态。

    Sean想到的方法,是把问题可视化。他一开始本打算用类似于交通信号灯的方法,但没多久他就意识到:这种简单的双向工具不能完全确定某些东西是否出了问题。

    因此,我开始想如何同时把所有相关数据放在一个图表里面,同时我们还要根据经验知道:当前这些指标的值是否需要我们担心。首先,尝试着写一个命令行 工具,列出所有的主机和关键指标数据,以“糟糕程度”排序。我对于“糟糕程度”的定义是:根据每个指标各自的值给主机排定顺序,然后,根据元组(by tuple)排定次序和主机。比如,某台主机在超时和TCP重新传输方面排第一,但在请求率方面拍第十,它的排序主键就是(1,1,10)。同时也要展示 主机所在的机架,这样当某个机架中的一些主机出问题时,很快就能发现问题。这么做的输出是很多文本,而且需要了解内情的人解读。虽然这让我的工作变得更容 易,但这并不是我想要的。

    最终,Sean打算使用热图(Heatmap),不过他一开始并不清楚:以这样二维的方式展示数据对于用户是否有意义。

    很明显,我们希望热图中每个像素代表一台主机,机架们能组合在一起。然而,我们的机架中的主机数目并不一样,当每台主机中的指标有十来个时,也不清 楚如何为各个主机标示颜色。当时,我们内部已经使用了热图,展示一组主机中的单个统计数据,这些主机组织成集群和机架,不过布局很松散,而且那么多服务器 也无法放到同一个页面中。由于已有的热图是通用工具,而且颜色基于现有的统计数据,无法区别何为“好坏”。最后,我认识到:我们真正关心的,是某台主机是 否出现问题。所以我决定,用一台主机“最热”的统计数据来标示它的颜色,热度来自于对预先定义的阈值的计算。做法很简单,但是让我们能把以前的经验和知识 中关于什么是不好的数值编码到这个视图中。缺少某个统计数据的主机被标示为黑色,说明主机可能宕掉了。尝试过多种安排、聆听多人反馈后,我决定为每个集群 绘制一张独立的热图,用机架数字排序,每个机架用类似“贪吃蛇”的样子绘制成垂直的方式,这样机架的展示就是连续的,即使他们可能在上面或者下面弯转。机 架的名字按照数据中心、集群、行这样的方式自然排序,哪个层次上出了问题,就很明显了。

    在一个朋友的建议下,Sean使用“Claspin”作为这个工具的名字,Claspin 是一种蛋白质,监控细胞中的DNA损伤。

    我们用Claspin可以立即把海量信息可视化,让我们更容易发现问题和模式。在一个30寸的屏幕上,我们可以同时放下1万台主机的信息,它们的颜 色由30多个状态数据决定,并在秒级或分钟级实时更新。这个数据量很大,Claspin使用了标准的Facebook组件来处理,收集所有服务器端状态, 并把它们发送到浏览器,颜色的判定通过JavaScript完成,热图的绘制用SVG。即使出现一个问题,也很容易发现,因为特定的问题会在屏幕上有特定 模式。

    Sean接下来在博客中展示了一些图片:

    上面的标签页包括不同视图,大多数是Claspin监控的不同服务。下面的蓝色按钮让用户可以用单一状态来给主机上色。

     

    鼠标箭头放在某个主机上,就会展示出该主机所属机架,并弹出关于主机名、机架号码、以及所有Claspin对该主机监控的数据,同时数值文本的颜色 也会根据Claspin对该状态的阈值设置有所不同。上图中,你可以看到下面被包起来的一个机架,展示出不同的方向。没有阈值定义的状态是灰色,但是是放 在一起的,这样就可以知道为什么某个主机有很高的超时等等。

    此后,Sean其他成员改进了Claspin,加入了对更多后端和自定义调色板的支持。这对于无法区分红绿颜色的人很有帮助,对无所谓好坏的值也是有帮助的。

    他们还把配置文件放到版本控制文本文件中,而且可以同时传播更新。配置变得更为用户友好后,使用Claspin监控服务的团队数目翻了一番还要多。

    最后,Sean提到了Claspin带来的好处:

    当我刚刚部署Claspin时,上面的图中有很多红色。Claspin帮助很多人更易于发现问题,从而让我们发现“黄色”预警,并阻止更多“红色”出现。在我看来,验证统计数据和阈值选择是否正确的最好方法,就是当红色出现之后,通过改善服务,全部变成绿色。

    微博上,有人分享了Pinterest创始人本·西尔伯曼在光速创投夏令营分享的创业经验:

    雇请优秀的人,即便还没有明确定义好的工作(Hire Great People, regardless of if you have a defined role for them):他对优秀的人的定义是,可以在不同角色上有附加价值、能在你现在和今后遇到问题时提供解决方案。

    毫无疑问,Sean Lynch就是一位优秀的人。

  • 相关阅读:
    《朗读手册》【美】吉姆·崔利斯
    《web全栈工程师的自我修养》 读书笔记
    2016/06 书单
    PostgreSQL数据库的安装
    MySQL数据库的安装
    异构数据库迁移——DATAX
    初探12C碰到的那些“坑”
    关于Ubuntu 16.04 pip安装Docker-Compose
    启动与关闭容器
    容器标识符
  • 原文地址:https://www.cnblogs.com/shihao/p/2705215.html
Copyright © 2011-2022 走看看