zoukankan      html  css  js  c++  java
  • 调用链系列一、Zipkin架构介绍、Springboot集承(springmvc,HttpClient)调用链跟踪、Zipkin UI详解

    1、Zipkin是什么

    Zipkin分布式跟踪系统;它可以帮助收集时间数据,解决在microservice架构下的延迟问题;它管理这些数据的收集和查找;Zipkin的设计是基于谷歌的Google Dapper论文。
    每个应用程序向Zipkin报告定时数据,Zipkin UI呈现了一个依赖图表来展示多少跟踪请求经过了每个应用程序;如果想解决延迟问题,可以过滤或者排序所有的跟踪请求,并且可以查看每个跟踪请求占总跟踪时间的百分比。

    2、为什么使用Zipkin

    随着业务越来越复杂,系统也随之进行各种拆分,特别是随着微服务架构和容器技术的兴起,看似简单的一个应用,后台可能有几十个甚至几百个服务在支撑;一个前端的请求可能需要多次的服务调用最后才能完成;当请求变慢或者不可用时,我们无法得知是哪个后台服务引起的,这时就需要解决如何快速定位服务故障点,Zipkin分布式跟踪系统就能很好的解决这样的问题。

    3、Zipkin下载和启动

    官方提供了三种方式来启动,这里使用第二种方式来启动;

    curl -sSL https://zipkin.io/quickstart.sh | bash -s
    java -jar zipkin.jar

    访问localhost:9411

    详细参考:https://zipkin.io/pages/quick...

    二、Zipkin架构

    跟踪器(Tracer)位于你的应用程序中,并记录发生的操作的时间和元数据,提供了相应的类库,对用户的使用来说是透明的,收集的跟踪数据称为Span;
    将数据发送到Zipkin的仪器化应用程序中的组件称为Reporter,Reporter通过几种传输方式之一将追踪数据发送到Zipkin收集器(collector),
    然后将跟踪数据进行存储(storage),由API查询存储以向UI提供数据。
    架构图如下:

      

    1、Trace

    Zipkin使用Trace结构表示对一次请求的跟踪,一次请求可能由后台的若干服务负责处理,每个服务的处理是一个Span,Span之间有依赖关系,Trace就是树结构的Span集合;

    2、Span

    每个服务的处理跟踪是一个Span,可以理解为一个基本的工作单元,包含了一些描述信息:id,parentId,name,timestamp,duration,annotations等,例如:

    {
          "traceId": "bd7a977555f6b982",
          "name": "get-traces",
          "id": "ebf33e1a81dc6f71",
          "parentId": "bd7a977555f6b982",
          "timestamp": 1458702548478000,
          "duration": 354374,
          "annotations": [
            {
              "endpoint": {
                "serviceName": "zipkin-query",
                "ipv4": "192.168.1.2",
                "port": 9411
              },
              "timestamp": 1458702548786000,
              "value": "cs"
            }
          ],
          "binaryAnnotations": [
            {
              "key": "lc",
              "value": "JDBCSpanStore",
              "endpoint": {
                "serviceName": "zipkin-query",
                "ipv4": "192.168.1.2",
                "port": 9411
              }
            }
          ]
    }

    traceId:标记一次请求的跟踪,相关的Spans都有相同的traceId;
    id:span id;
    name:span的名称,一般是接口方法的名称;
    parentId:可选的id,当前Span的父Span id,通过parentId来保证Span之间的依赖关系,如果没有parentId,表示当前Span为根Span;
    timestamp:Span创建时的时间戳,使用的单位是微秒(而不是毫秒),所有时间戳都有错误,包括主机之间的时钟偏差以及时间服务重新设置时钟的可能性,
    出于这个原因,Span应尽可能记录其duration;
    duration:持续时间使用的单位是微秒(而不是毫秒);
    annotations:注释用于及时记录事件;有一组核心注释用于定义RPC请求的开始和结束;

    cs:Client Send,客户端发起请求;
    sr:Server Receive,服务器接受请求,开始处理;
    ss:Server Send,服务器完成处理,给客户端应答;
    cr:Client Receive,客户端接受应答从服务器;

    binaryAnnotations:二进制注释,旨在提供有关RPC的额外信息。

    3、Transport

    收集的Spans必须从被追踪的服务运输到Zipkin collector,有三个主要的传输方式:HTTP, Kafka和Scribe;

    4、Components

    有4个组件组成Zipkin:collector,storage,search,web UI

    • collector:一旦跟踪数据到达Zipkin collector守护进程,它将被验证,存储和索引,以供Zipkin收集器查找;
    • storage:Zipkin最初数据存储在Cassandra上,因为Cassandra是可扩展的,具有灵活的模式,并在Twitter中大量使用;但是这个组件可插入,除了Cassandra之外,还支持ElasticSearch和MySQL;
    • search:一旦数据被存储和索引,我们需要一种方法来提取它。查询守护进程提供了一个简单的JSON API来查找和检索跟踪,主要给Web UI使用;
    • web UI:创建了一个GUI,为查看痕迹提供了一个很好的界面;Web UI提供了一种基于服务,时间和注释查看跟踪的方法。

    三、Spring-boot中集成Zipkin示例

    创建三个Springboot项目:service0,service1,service2

    1、pom.xml

    <?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.example</groupId>
    <artifactId>Springboot-Zipkin0</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <packaging>jar</packaging>

    <parent>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-parent</artifactId>
    <version>2.1.0.BUILD-SNAPSHOT</version>
    <relativePath/> <!-- lookup parent from repository -->
    </parent>

    <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    <java.version>1.8</java.version>
    </properties>

    <dependencies>
    <dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
    </dependency>

    <dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-test</artifactId>
    <scope>test</scope>
    </dependency>

    <!--zipkin-brave start-->
    <dependency>
    <groupId>io.zipkin.brave</groupId>
    <artifactId>brave-core</artifactId>
    <version>3.9.0</version>
    </dependency>
    <!--http方式收集-->
    <dependency>
    <groupId>io.zipkin.brave</groupId>
    <artifactId>brave-spancollector-http</artifactId>
    <version>3.9.0</version>
    </dependency>
    <!--servlet装配-->
    <dependency>
    <groupId>io.zipkin.brave</groupId>
    <artifactId>brave-web-servlet-filter</artifactId>
    <version>3.9.0</version>
    </dependency>

    <dependency>
    <groupId>io.zipkin.brave</groupId>
    <artifactId>brave-apache-http-interceptors</artifactId>
    <version>3.9.0</version>
    </dependency>
    <!--httpclient-->
    <dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    </dependency>
    <!--zipkin-brave end-->
    </dependencies>

    <build>
    <plugins>
    <plugin>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-maven-plugin</artifactId>
    </plugin>
    </plugins>
    </build>

    <repositories>
    <repository>
    <id>spring-snapshots</id>
    <name>Spring Snapshots</name>
    <url>https://repo.spring.io/snapshot</url>
    <snapshots>
    <enabled>true</enabled>
    </snapshots>
    </repository>
    <repository>
    <id>spring-milestones</id>
    <name>Spring Milestones</name>
    <url>https://repo.spring.io/milestone</url>
    <snapshots>
    <enabled>false</enabled>
    </snapshots>
    </repository>
    </repositories>

    <pluginRepositories>
    <pluginRepository>
    <id>spring-snapshots</id>
    <name>Spring Snapshots</name>
    <url>https://repo.spring.io/snapshot</url>
    <snapshots>
    <enabled>true</enabled>
    </snapshots>
    </pluginRepository>
    <pluginRepository>
    <id>spring-milestones</id>
    <name>Spring Milestones</name>
    <url>https://repo.spring.io/milestone</url>
    <snapshots>
    <enabled>false</enabled>
    </snapshots>
    </pluginRepository>
    </pluginRepositories>

    </project>

    2、访问zipkin工具类

    package com.example.demo.bean;
    
    import org.apache.http.impl.client.CloseableHttpClient;
    import org.apache.http.impl.client.HttpClients;
    import org.springframework.context.annotation.Bean;
    import org.springframework.context.annotation.Configuration;
    
    import com.github.kristofa.brave.Brave;
    import com.github.kristofa.brave.Brave.Builder;
    import com.github.kristofa.brave.EmptySpanCollectorMetricsHandler;
    import com.github.kristofa.brave.Sampler;
    import com.github.kristofa.brave.SpanCollector;
    import com.github.kristofa.brave.http.DefaultSpanNameProvider;
    import com.github.kristofa.brave.http.HttpSpanCollector;
    import com.github.kristofa.brave.http.HttpSpanCollector.Config;
    import com.github.kristofa.brave.httpclient.BraveHttpRequestInterceptor;
    import com.github.kristofa.brave.httpclient.BraveHttpResponseInterceptor;
    import com.github.kristofa.brave.servlet.BraveServletFilter;
    
    @Configuration
    public class ZipkinBean {
    
        /**
         * 配置收集器
         *
         * @return
         */
        @Bean
        public SpanCollector spanCollector() {
            Config config = HttpSpanCollector.Config.builder().compressionEnabled(false).connectTimeout(5000)
                    .flushInterval(1).readTimeout(6000).build();
            return HttpSpanCollector.create("http://47.52.199.51:9411", config, new EmptySpanCollectorMetricsHandler());
        }
    
        /**
         * Brave各工具类的封装
         *
         * @param spanCollector
         * @return
         */
        @Bean
        public Brave brave(SpanCollector spanCollector) {
            Builder builder = new Builder("service2");// 指定serviceName
            builder.spanCollector(spanCollector);
            builder.traceSampler(Sampler.create(1));// 采集率
            return builder.build();
        }
    
        /**
         * 拦截器,需要serverRequestInterceptor,serverResponseInterceptor 分别完成sr和ss操作
         *
         * @param brave
         * @return
         */
        @Bean
        public BraveServletFilter braveServletFilter(Brave brave) {
            return new BraveServletFilter(brave.serverRequestInterceptor(), brave.serverResponseInterceptor(),
                    new DefaultSpanNameProvider());
        }
    
        /**
         * httpClient客户端,需要clientRequestInterceptor,clientResponseInterceptor分别完成cs和cr操作
         *
         * @param brave
         * @return
         */
        @Bean
        public CloseableHttpClient httpClient(Brave brave) {
            CloseableHttpClient httpclient = HttpClients.custom()
                    .addInterceptorFirst(new BraveHttpRequestInterceptor(brave.clientRequestInterceptor(),
                            new DefaultSpanNameProvider()))
                    .addInterceptorFirst(new BraveHttpResponseInterceptor(brave.clientResponseInterceptor())).build();
            return httpclient;
        }
    }

    3、controller代码

    service0

    @RestController
    public class ZipkinController {
        @Autowired
        private CloseableHttpClient httpClient;
    
        @GetMapping("/service0")
        public String service() throws Exception {
            Thread.sleep(100);
            HttpGet get = new HttpGet("http://192.168.1.100:8081/service1");
            CloseableHttpResponse response = httpClient.execute(get);
            return EntityUtils.toString(response.getEntity(), "utf-8");
        }
    }

    service1

    @RestController
    public class ZipkinController {
        @Autowired
        private CloseableHttpClient httpClient;
    
        @GetMapping("/service1")
        public String service() throws Exception {
            Thread.sleep(100);
            HttpGet get = new HttpGet("http://192.168.1.100:8082/service2");
            CloseableHttpResponse response = httpClient.execute(get);
            return EntityUtils.toString(response.getEntity(), "utf-8");
        }
    }

    service2

    @RestController
    public class ZipkinController {
        @Autowired
        private CloseableHttpClient httpClient;
    
        @GetMapping("/service2")
        public String service() throws Exception {
            Thread.sleep(100);
            HttpGet get = new HttpGet("http://192.168.1.100:8082/hellow");
            CloseableHttpResponse response = httpClient.execute(get);
            return EntityUtils.toString(response.getEntity(), "utf-8");
        }
    }

    4、启动三个项目

    访问:http://192.168.1.100:8081/service1

    5、打开zipkin地址

    http://localhost:9411

     四、zipkin UI界面详解

    1、首页

    首页里面主要承载了trace的查询功能,根据不同的条件,搜索出数据来

    2、trace详情

    3、span详情

    这个图中,需要注意的是相对时间和调用行为

    调用行为分如下四种:

    cs - Client Send : 客户端已经提出了请求。这就设置了跨度的开始。

    sr - Server Receive: 服务器已收到请求并将开始处理它。这与CS之间的差异将是网络延迟和时钟抖动的组合。

    ss - Server Send: 服务器已完成处理,并将请求发送回客户端。这与SR之间的差异将是服务器处理请求所花费的时间

    cr - Client Receive : 客户端已经收到来自服务器的响应。这就设置了跨度的终点。当记录注释时,RPC被认为是完整的。

    相对时间:

    表示在调用链开始到现在的时间,比如

    从trace生成到现在,

    17ms的时候,Client Send bas-ms这个应用发出了调用

    19ms的时候,Server Receive ems-ms收到了bas-ms的调用。 这个说明,从bas-ms到ems-ms中间的网络耗时花费了2ms.

    34ms的时候,Server Send ems-ms的方法执行完毕,准备返回响应结果给bas-ms , 这说明ems-ms处理请求花费了34-19 = 15ms

    34ms的时候,Client Receive bas-ms收到了返回结果

    界面显示的时候,是根据相对时间来排序的,所以Client Receive排在了第三位,因为他和Server Send的时间是一样的。

    4、全局依赖

    点击服务名,弹出如下框,显示出了调用关系,

    点击具体的服务名,出现如下界面

    Number of calls : 总的调用数(除去异常的)

    Number of errors:调用异常的次数

    五、源码下载

    github地址:https://github.com/Star-Lordxing/springboot-zipkin

    本文主要参考:https://segmentfault.com/a/1190000012342007

  • 相关阅读:
    redis 定义序列号
    mac下搭建phalcon扩展以及phalcon-devtools扩展
    rabbitmq集群架构(转载)
    mysql下limit分页优化思路
    ffmpeg图片格式转换,webp转换成jpg,webp转换成png,jpg转换成png,jpg转换成webp,png转换成webp,png转换成jpg
    sed替换多个字符串在一条命令里面
    CentOS7减轻DDOS攻击,使用fail2ban预防CC攻击
    ffmpeg改变jpg,png,webp图片大小
    wget下载github的releases的软件
    CentOS6.5设置IPTables防火墙
  • 原文地址:https://www.cnblogs.com/wangzhuxing/p/9757783.html
Copyright © 2011-2022 走看看