开源一个监控数据采集Agent：OpenFalcon-SuitAgent

zoukankan html css js c++ java

开源一个监控数据采集Agent：OpenFalcon-SuitAgent
OpenFalcon-SuitAgent

项目地址：github

版本说明

本系统版本划分如下
- alpha：内部测试版（不建议使用于生产环境）
- beta：公开测试版（不建议使用于生产环境）
- final：最终正式版（可用于生产环境）
当前版本请查看pom.xml信息。

使用之前
- 此系统是和OpenFalcon监控系统一起使用,是为了更方便的进行运维监控。若不了解,可以先点击链接去OpenFalcon的官方社区进行了解。
- 目前此系统仅支持类Unix系统下使用，不支持Windows系统
什么是SuitAgent

这是一个获取各种系统的监控数据的Agent。
其中内置了OpenFalcon的社区组件:FalconAgent,因所有的监控数据都必须要上报到FalconAgent，所以为了部署方便和管理，SuitAgent集成了FalconAgent，若agent.falcon.push.url配置为本地地址,则启动时会同时启动自带的FalconAgent，关闭时也会同时关闭FalconAgent。

为什么有这个项目

OpenFalcon监控系统，是由一系列的组件构成。对于操作系统的监控，官方有FalconAgent，但是对于其他系统的监控，
都是使用脚本或者其他方式进行单独采集，然后将数据上报给FalconAgent系统。
公司为了运维监控的方便和自动化，便有了这个项目，将系统的采集，集中在一个系统中，并且尽可能的采集便捷。

SuitAgent特点
- 自动探测部署机上的服务,自动监控
- 监控配置动态生效,无需重启
- 能够动态发现部署机上新启动的服务
- 支持Mock接口功能,有自动化运维的公司,可利用此特性进行监控自动化开发
- 监控服务全部插件化实现，可自定义开发自己需求的监控服务的插件，只需要开发采集逻辑和插件运行配置。SuitAgent可自动发现插件，并根据配置自动运行，无需关心插件的启动。
目前支持的监控服务
- Docker（包括Docker内的应用存活情况监控）
- ElasticSearch
- Http
- Logstash
- Mysql
- 交换机
- Ntp
- Oracle
- Ping
- Standalone Jar（Java通过java -jar xxx.jar运行的服务）
- Tcp
- Tomcat
- Zookeeper
SuitAgent编译

构建工具:maven
Java版本：jdk 1.8

选择对应的版本进行编译:
```
- linux-64 : mvn clean package -Plinux-64 -Dmaven.test.skip=true
- linux64-noJar : mvn clean package -Plinux64-noJar -Dmaven.test.skip=true
- osx-noJar : mvn clean package -Posx-noJar -Dmaven.test.skip=true
```
编译后，在target目录下可看到编译后的压缩包，解压缩，改改配置，即可使用

或者直接下载编译后的文件，地址：
```
https://yunpan.cn/cMTHpgsQ3e5DV （提取码：9f74）
```
版本说明:
- linux-64 : linux-64位自带Jre运行环境。不需要目标系统安装java
- osx-noJar : 苹果系统。需要安装java环境
- linux64-noJar : linux-64位系统。需要目标系统安装个java环境
修改相关配置后,直接启动SuitAgent即可

建议：推荐编译使用，因目前SuitAgent尚在完善中，代码和配置难免会有所变动。网盘中的文件不能保证随时都是最新的。

SuitAgent配置
- FalconAgent配置文件(配置官方社区的FalconAgent)
  
  {SuitAgentHome}/conf/falcon/agent.cfg.json
- SuitAgent配置文件
  
  {SuitAgentHome}/conf/agent.properties
- 监控服务授权配置
  
  {SuitAgentHome}/conf/authorization.properties
- 监控服务插件配置
  
  {SuitAgentHome}/conf/plugin目录下
SuitAgent相关命令
- 启动：./bin/agent.sh start (使用root用户)
  
  启动日志查看
  
  可通过tail -f conf/console.log
  观察SuitAgent的运行情况
- 关闭：./bin/agent.sh stop
- 状态：/bin/agent.sh status
SuitAgent日志
- SuitAgent运行中的日志分为四种：
  1、console（debug）
  2、info
  3、warn
  4、error
  每种日志均自动控制日志大小，每到5MB就自动进行日志分割，最多有10个同类文件。既所有的日志文件，最多只会达到200MB，无需担心日志文件过于庞大。
监控数据上报

公有的Tag
```
跟OpenFalcon官方社区的思想一致,FalconAgent采集的系统监控信息(如内存,CPU等等一百多种)没有任何tag信息
其他的业务系统的监控,都会打上tag。`SuitAgent`采集的系统，基本都是业务系统（非Linux操作系统监控信息），所以都会有对应的Tag
```
- tag来区分服务
  
  例如：
  
  service={value} ：（內建）服务产品名，如tomcat
  
  service.type={value} ：（內建）监控服务类型，如jmx,database
  
  agentSignName={value} ：（內建）agent提供的标识字符串，如 allUnVariability（代表该服务SuitAgent启动时就不存在），标识服务的占用端口号，服务名等。
  
  metrics.type={value} ：（內建）监控值类型，如availability，jmxObjectConf，jmxObjectInBuild，httpUrlConf，sqlConf，sqlInBuild，snmpConnomInBuild，snmpPluginInBuild
- 可用性(availability)会自动打上标签：
  
  metrics.type=availability,service={value}
- 若某个服务有自定义的endPoint（如SNMP V3），则会加上customerEndPoint=true的tag
- Tomcat监控值会打上dir={dirName}的tag，方便同一个物理机启动多个tomcat时，更好的识别具体的tomcat
SuitAgent Plugin 说明

SuitAgent所有的监控服务都是插件式开发集成

如何自定义插件开发

SuitAgent支持的插件一共以下几种：
- JDBC的监控服务，实现com.yiji.falcon.agent.plugins.JDBCPlugin接口
- JMX的监控服务，实现com.yiji.falcon.agent.plugins.JMXPlugin接口
- SNMP V3的监控服务，实现com.yiji.falcon.agent.plugins.SNMPV3Plugin接口
- 探测监控服务，实现com.yiji.falcon.agent.plugins.DetectPlugin接口
若要开发自己的监控服务，想好自己的监控服务是哪种类型，参照SuitAgent目前已实现的插件结构，
在包com.yiji.falcon.agent.plugins.plugin下建立自己的插件目录，将插件类放在该目录中，
然后根据规则，在src/main/resources_ext/conf/plugin/目录下建立自己的插件配置文件即可。

SuitAgent目前集成的监控服务

JMX监控服务

特殊的metrics说明
```
- 若SuitAgent在启动时，需要进行监控的服务（对应的work配置为true的）未启动，则将会上报一个名为`allUnVariability`的metrics监控指标，值为`0`。tag中有metrics的详情（参考tag命名），代表为该服务全部不可用
```
JMX监控属性组成

JMX监控的属性，由以下三部分组成
- SuitAgent内置的JMX监控属性
  
  - `HeapMemoryUsedRatio` - 堆内存使用比例 - `HeapMemoryCommitted` - 堆内存已提交的大小 - `NonHeapMemoryCommitted` - 非堆内存已提交的大小 - `HeapMemoryFree` - 堆内存空闲空间大小 - `HeapMemoryMax` - 堆内存最大的空间大小 - `HeapMemoryUsed` - 堆内存已使用的空间大小 - `NonHeapMemoryUsed` - 非堆内存已使用的空间大小
- JMX 公共的监控属性自定义配置
  
  定义于conf/jmx/common.properties文件
- 自定义的监控属性
  
  每个插件自定义的属于自身的监控属性
Java应用的停机处理说明

正常情况下，若Java应用停机，则它的JMX连接将会不可用，此时，SuitAgent将会上报该应用不可用的监控报告，并且，在每一次重新获取监控值时，都会尝试重新连接此应用。

若该应用是被下线了，就是废弃了，那么岂不是会永远上报不可用状态？所以，SuitAgent有一个处理机制，在SuitAgent启动时，它会记录每一个Java应用的应用路径，如果该应用被发现停机了，它会检查该路径还是否存在有效，如果路径无效，SuitAgent将会清除此下线应用的监控信息，就不会上报不可用了。

目前支持的监控组件
- zookeeper
- tomcat
- elasticSearch
- logstash
- standaloneJar（单独Jar包运行的应用，如SpringBoot)
JDBC监控的服务

目前支持的监控组件
```
	- Oracle
	- Mysql
```
SNMP监控服务

公共的metrics列表

每个接口的Metrics：
```
- {ifName}.if.HCInBroadcastPkts
- {ifName}.if.HCInMulticastPkts
- {ifName}.if.HCInOctets
- {ifName}.if.HCInUcastPkts
- {ifName}.if.HCOutBroadcastPkts
- {ifName}.if.HCOutMulticastPkts
- {ifName}.if.getIfHCOutUcastPkts
- {ifName}.if.HCOutOctets
- {ifName}.if.OperStatus : (接口状态，1 up, 2 down, 3 testing, 4 unknown, 5 dormant, 6 notPresent, 7 lowerLayerDown)
```
ping Metrics：
```
- pingAvgTime : Ping延时（正常返回延时，超时返回 -1）
```
交换机（SNMP V3）

说明

监控的设备采集信息和采集逻辑主要参考了Falcon社区的swcollector项目，因swcollector不支持SNMP V3协议。
https://github.com/gaochao1/swcollector

采集的私有metric列表
```
	- 公共的metrics数据
	- CPU利用率
	- 内存利用率
```
内存和CPU的目前测试的支持设备
```
	- Cisco IOS(Version 12)
	- Cisco NX-OS(Version 6)
	- Cisco IOS XR(Version 5)
	- Cisco IOS XE(Version 15)
	- Cisco ASA (Version 9)
	- Ruijie 10G Routing Switch
	- Huawei VRP(Version 8)
	- Huawei VRP(Version 5.20)
	- Huawei VRP(Version 5.120)
	- Huawei VRP(Version 5.130)
	- Huawei VRP(Version 5.70)
	- Juniper JUNOS(Version 10)
	- H3C(Version 5)
	- H3C(Version 5.20)
	- H3C(Version 7)
```
探测监控服务
- HTTP监控
  
  监控Metrics:
  
  - availability - response.code : 响应状态码 - response.time : 响应时间毫秒
- Ping监控
  
  监控Metrics
  
  - availability - pingAvgTime : ping的平均延时（当前为每次ping5次，取绝对值） - pingSuccessRatio : ping的成功次数占比，如ping了`5次`，只成功返回`4次`，则为`0.8`
- TCP（Socket）监控
  
  监控Metrics :
  
  - availability - response.time : 响应时间毫秒
- Yiji NTP 监控
  
  监控Metrics
  
  - availability - `0`：NTP监控失败（如ntpdate命令执行失败） - `1`：NTP监控成功 - ntpOffset : ntpdate命令解析的offset值
- Docker 监控
  
  监控Metrics
  
  - availability - `0`：Docker daemon 探测失败 - `1`：Docker daemon 探测成功 - availability-container - 说明：在SuitAgent第一次运行Docker插件时，会将第一次检测到的容器名称保存到内存缓存中，在以后的每一次监控时，会上报内存缓存中的容器的可用性状态 - `0`：容器已停止运行 - `1`：容器正在运行 - availability.container.app - 说明：在SuitAgent第一次运行Docker插件时，会将第一次检测到的容器内的进程情况进行缓存到内存中，在以后的每一次监控时，会重新获取容器内的进程情况，若与第一次一致，则为可用 - `0`：容器内应用运行不正常 - `1`：容器内应用正常运行 - `-1`：容器内的应用状态数据获取失败 - has_cpu : 是否有CPU使用权限 - total.cpu.usage.rate : CPU总使用率百分比 - user.cpu.usage.rate : CPU用户级别使用率百分比 - system.cpu.usage.rate : CPU系统级别使用率百分比 - has_memory : 是否有内存使用权限 - mem.size.usage : 当前已使用的内存大小（单位兆） - mem.size.cache : 当前已缓存的内存大小（单位兆） - mem.usage.rate : 内存已使用与容器总内存百分比 - mem.cache.rate : 内存缓存与容器总内存的百分比 - has_network : 是否有网络使用权限 - net.if.in.bytes : 网络IO流入字节数 - net.if.in.packets : 网络IO流入包数 - net.if.in.dropped : 网络IO流入丢弃数 - net.if.in.errors : 网络IO流入出错数 - net.if.out.bytes : 网络IO流出字节数 - net.if.out.packets : 网络IO流出包数 - net.if.out.dropped : 网络IO流出丢弃数 - net.if.out.errors : 网络IO流出出错数
自动发现功能说明
- zookeeper
  
  无需配置，可自动发现
- tomcat
  
  无需配置，可自动发现
- elasticSearch
  
  无需配置，可自动发现
- logstash
  
  无需配置，可自动发现
- standalone应用(java -jar 方式的Jar包运行)
  
  需要配置conf/plugin/standaloneJarPlugin.properties配置文件的jmxServerName或jmxServerDir，
  然后SuitAgent会自动发现已配置的standalone应用
- Oracle
  
  需要配置conf/authorization.properties配置中的Oracle连接信息，然后会根据配置的连接信息，进行自动发现Oracle应用，并监控
- Mysql
  
  需要配置conf/authorization.properties配置中的Mysql连接信息，然后会根据配置的连接信息，进行自动发现Mysql应用，并监控
- SNMP V3 交换机
  
  需要配置conf/authorization.properties配置中的交换机的SNMP V3的连接信息，然后会根据配置的连接信息，进行自动发现交换机并监控。
- HTTP监控
  
  只要配置了被探测的地址，就会触发监控服务
- Ping监控
  
  只要配置了被探测的地址，就会触发监控服务
- TCP监控
  
  只要配置了被探测的地址，就会触发监控服务
- NTP监控
  
  只要配置了NTP服务器地址，就会触发监控服务
- Docker监控
  
  无需配置地址，自动探测本机的Docker服务：若发现有命令/usr/bin/docker存在，就会启动Docker监控插件。并自动连接本机的cAdvisor服务或启动内置的vAdvisor服务
SuitAgent 动态配置

SuitAgent支持部分配置的动态生效，支持的范围见如下说明

authorization.properties文件的改动
- 若对应插件未启动，则文件修改后，将在SuitAgent下一次的自动服务发现时生效。
- 若对应的插件已启动，因系统不会重复启动相同的监控服务，故虽然插件配置会生效，但是不会重新启动服务
plugin目录下的插件配置文件的改动
- 若改动的是未启动的监控服务配置（如StandaloneJarPlugin插件的standaloneJarPlugin.properties文件，添加了一个服务名。或更改了插件启动类型等），将在SuitAgent下一次的自动服务发现时生效
- 若改动的是插件的监控配置（如Tomcat插件的tomcatPlugin.properties文件的服务器监控参数配置），下一次监控扫描就能够生效。
- 若改动的是插件的自定义配置文件，它的改动将不会触发插件的配置更新事件，不过可以利用改动它的插件配置文件，触发配置更新。
注意
- 已启动的插件服务，不会因为配置文件的改动而停止服务
- 插件启动时的配置项（如插件的step，pluginActivateType等）被改动时，若插件已启动，虽然改动的配置插件会实时更新，但由于服务已启动，这些属性已经在启动时固定，所以将不会因为改动而生效
SuitAgent mock 接口

接口说明

SuitAgent提供可用性(availability)的mock服务。

mock服务具有有效性,有效性时长,通过配置 agent.properties 文件的 agent.mock.valid.time 配置项

有效的mock,将会让mock的目标服务即使已经停止运行,也会上报一个可用的监控数据,并且带上 mock=true 的 tag

若mock的时间超时,既无效,则会上报目标服务不可用的监控数据,并且带上 mock=timeout-{time} 的 tag 。其中{time}是停机时间

接口使用
- http://ip:port/mock/list
  
  查看SuitAgent当前所有的mock配置，返回json格式的数据,示例:
```
{
	"jmx": {
	  "service": "tomcat",
	  "isTimeout": false,
	  "shutdownTime": 0
	}
}
```
- http://ip:port/mock/add/serviceType/service
  
  添加一个mock配置
- http://ip:port/mock/remove/serviceType/service
  
  删除一个mock配置
参数说明
- serviceType : 对应于监控值tag中的service.type属性
- service : 对应于监控值tag中的service或agentSignName属性
查看全文

相关阅读:
《理解 ES6》阅读整理：块绑定（Block Binding）
Webpack使用教程六（Plugins）
Webpack使用教程五（Babel）
Webpack使用教程四（Loaders）
Webpack使用教程三（webpack-dev-server）
Webpack使用教程二
 Node.js、npm和webpack的安装
 Maven的安装和配置
 Java事件处理机制
 MySQL安装

原文地址：https://www.cnblogs.com/qianlong2016/p/5853899.html

开源一个监控数据采集Agent：OpenFalcon-SuitAgent

OpenFalcon-SuitAgent

版本说明

使用之前

什么是SuitAgent

为什么有这个项目

SuitAgent特点

目前支持的监控服务

SuitAgent编译

SuitAgent配置

SuitAgent相关命令

SuitAgent日志

监控数据上报

公有的Tag

SuitAgent Plugin 说明

如何自定义插件开发

SuitAgent目前集成的监控服务

JMX监控服务

特殊的metrics说明

JMX监控属性组成

Java应用的停机处理说明

目前支持的监控组件

JDBC监控的服务

目前支持的监控组件

SNMP监控服务

公共的metrics列表

交换机（SNMP V3）

探测监控服务

自动发现功能说明

SuitAgent 动态配置

SuitAgent mock 接口