导读
CZGL.ProcessMetrics 是一个 Metrics 库,能够将程序的 GC、CPU、内存、机器网络、磁盘空间等信息记录下来,使用 Prometheus 采集信息,然后使用 Grafana 显示。
周日花了时间把这个库更新,修复了一些 Bug,增加了一些有趣的功能,支持多服务器多应用,支持 wpf、winfrom、.NET Core 等应用,在不需要暴露端口的情况下,也可以推送监控数据到 Prometheus,支持自定义数据源。
另外对 Grafana 模板进行了一些优化,增加了一些数据源。
根据机器、应用等选择需要显示的数据:
三种方式处理监控数据
详细文档请参考:
https://github.com/whuanle/CZGL.SystemInfo/blob/primary/docs/Metrics.md
主动推送
第一种需要使用 Pushgateway,Pushgateway 允许任何客户端向其推送符合规范的自定义监控指标,再使用 Prometheus 统一收集监控。
我们不必把应用的监控数据都推送到 Prometheus,而是推送到 Pushgateway,多个应用一起推送,然后Prometheus 定期一次性获取。
示例代码如下:
MetricsPush metricsPush = new MetricsPush("http://123.12.1.2:9091");
while (true)
{
var code = metricsPush.PushAsync().Result;
// 如果 code 不是 200,请检查推送的地址有没有错误,或联系笔者讨论
// 自定义推送间隔时间
Thread.Sleep(1000);
}
这种方法适合非 Web 应用、不能暴露端口的应用、内网应用或者 Winfrom、Wpf 这类应用使用。
ASP.NET Core
在 Nuget 中,搜索 CZGL.ProcessMetrics.ASPNETCore
包,然后使用中间件生成 Metrics 端点。
endpoints.ProcessMetrices("/metrics", options =>
{
// 监控 CLR 中的事件
options.ListenerNames.Add(EventNames.System_Runtime);
// options.Labels.Add("other", "自定义标识");
// 自定义要监控的数据源
options.Assemblies.Add(typeof(CZGL.ProcessMetrics.MetricsPush).Assembly);
});
或:
endpoints.ProcessMetrices("/metrics");
自定义URL
自定义 HTTP Server,暴露一个 URL ,供 Prometheus 抓取。
new Thread(() =>
{
MetricsServer metricsServer = new MetricsServer("http://*:1234/metrics/");
metricsServer.Start();
}).Start();
.NET diagnostics
在程序出现内存泄漏或者 CPU 太高的时候,有没有使用过 dotnet-tool 来排查?例如 dotnet-counter、dotnet-dump。
这些工具可以获得详细的 EvenSource 信息:
[System.Runtime]
% Time in GC since last GC (%) 0
Allocation Rate / 1 sec (B) 0
CPU Usage (%) 0
Exception Count / 1 sec 0
GC Heap Size (MB) 4
Gen 0 GC Count / 60 sec 0
Gen 0 Size (B) 0
Gen 1 GC Count / 60 sec 0
Gen 1 Size (B) 0
Gen 2 GC Count / 60 sec 0
Gen 2 Size (B) 0
LOH Size (B) 0
Monitor Lock Contention Count / 1 sec 0
Number of Active Timers 1
Number of Assemblies Loaded 140
ThreadPool Completed Work Item Count / 1 sec 3
ThreadPool Queue Length 0
ThreadPool Thread Count 7
Working Set (MB) 63
在 CZGL.ProcessMetrics 中,也可以监控这些指标啦~
在 .NET 中,内置了一些 EventSource,读者可以参考:https://docs.microsoft.com/en-us/dotnet/core/diagnostics/available-counters#microsoftaspnetcorehttpconnections-counters
常见的 EventSource 如下:
* Microsoft-Windows-DotNETRuntime
* System.Runtime
* Microsoft-System-Net-Http
* System.Diagnostics.Eventing.FrameworkEventSource
* Microsoft-Diagnostics-DiagnosticSource
* Microsoft-System-Net-Sockets
* Microsoft-System-Net-NameResolution
* System.Threading.Tasks.TplEventSource
* System.Buffers.ArrayPoolEventSource
* Microsoft-System-Net-Security
* System.Collections.Concurrent.ConcurrentCollectionsEventSource
在 CZGL.ProcessMetrics 中 ,默认只监控了 System.Runtime,你也可以添加更多类型的 EventSource,甚至是你自定义的 EventSource。
在配置的时候,使用即可:
endpoints.ProcessMetrices("/metrics", options =>
{
// 监控 CLR 中的事件
options.ListenerNames.Add(EventNames.System_Runtime);
options.ListenerNames.Add(EventNames.AspNetCore_Http_Connections);
}
MetricsPush metricsPush = new MetricsPush(url: "http://123.1.1.2:9091",
option: options =>
{
// 监控 CLR 中的事件
options.ListenerNames.Add(EventNames.System_Runtime);
options.ListenerNames.Add(EventNames.AspNetCore_Http_Connections);
});
自定义监控指标
如果你有一些指标数据,也要放到 Grafana 上显示,例如用户鼠标点击次数、并发请求数量等,可以很容易地添加进去:
public class CLRMetrics : IMerticsSource
{
public async Task InvokeAsync(ProcessMetricsCore metricsCore)
{
await Task.Factory.StartNew(() =>
{
Gauge monitor = metricsCore.CreateGauge("指标名称", "指标描述");
monitor.Create()
.AddLabel("自定义标签",value.ToString())
.SetValue(Monitor.LockContentionCount);
});
}
}
自定义的数据源,需要继承 IMerticsSource
接口。
目前支持 Counter、Gauge 两种形式的数据,Counter 是累加器,适合不断增加的数据;Gauge 则是自由的数据。
自定义标识用于显示一些特定的信息,Value 则显示具体的值,Label 可以定义多个,但是 Value 只会出现一次。例如:
.AddLabel("磁盘名称","D:")
.AddLabel("已用空间","58091110") // 单位 Byte,即 55.40 GB
.AddValue(0) // 有时我们只需要显示 Label,不需要 Value,则随便填一个
这个库只是一个简单的工具,相对于专业的 Metrics 工具,指标数据不多,好就好在体积小,使用简单。。。这个库没什么复杂的功能,几行代码就可以跑起来了,小应用用起来方便,不需要什么成本就可以搭建起一个简单的监控。
大佬轻喷。
详细文档可以参考:
https://github.com/whuanle/CZGL.SystemInfo/blob/primary/docs/Metrics.md
项目地址:
https://github.com/whuanle/CZGL.SystemInfo
需要补充 .NET 监控指标或者定制 Grafana 界面,可联系笔者一起讨论~