第六节：Ocelot之自身负载、网关限流、缓存和熔断机制

一. 自身负载

1. 含义

　实现Ocelot转发多个业务服务器，不去Consul中获取，直接在配置文件中配置。

　LoadBalancer将决定负载均衡的算法

　　- LeastConnection – 将请求发往最空闲的那个服务器

　　- RoundRobin – 轮流发送

　　- NoLoadBalance – 总是发往第一个请求或者是服务发现

2. 用到的项目

　OcelotGateWay：网关

　GoodsService：业务服务器

　OrderService：业务服务器

3. 测试步骤

(1).启动Consul，【consul.exe agent -dev】，因为业务服务器中进行了服务注册,与Ocelot无关

(2).启动网关：【dotnet OcelotGateWay.dll --urls="http://*:7020" --ip="127.0.0.1" --port=7020 】

　　　　其中GoodsService配置LeastConnection算法，OrderService配置RoundRobin算法。

配置文件

{
  "Routes": [
    {
      "DownstreamPathTemplate": "/api/{url}",
      "DownstreamScheme": "http",
      "DownstreamHostAndPorts": [
        {
          "Host": "127.0.0.1",
          "Port": 7001
        },
        {
          "Host": "127.0.0.1",
          "Port": 7002
        },
        {
          "Host": "127.0.0.1",
          "Port": 7003
        }
      ],
      "UpstreamPathTemplate": "/GoodsService/{url}",
      "LoadBalancerOptions": {
        "Type": "RoundRobin"     //轮询
      },
      "UpstreamHttpMethod": [ "Get", "Post" ]
    },
    {
      "DownstreamPathTemplate": "/api/{url}",
      "DownstreamScheme": "http",
      "DownstreamHostAndPorts": [
        {
          "Host": "127.0.0.1",
          "Port": 7004
        },
        {
          "Host": "127.0.0.1",
          "Port": 7005
        },
        {
          "Host": "127.0.0.1",
          "Port": 7006
        }
      ],
      "UpstreamPathTemplate": "/OrderService/{url}",
      "LoadBalancerOptions": {
        "Type": "LeastConnection"   //最少连接数
      },
      "UpstreamHttpMethod": [ "Get", "Post" ]
    }
  ]
}

(3).启动业务服务器：GoodsService对应7001、7002、7003端口，OrderService对应7004、7005、7006端口

　　dotnet GoodsService.dll --urls="http://*:7001" --ip="127.0.0.1" --port=7001

　　dotnet GoodsService.dll --urls="http://*:7002" --ip="127.0.0.1" --port=7002

　　dotnet GoodsService.dll --urls="http://*:7003" --ip="127.0.0.1" --port=7003

　　dotnet OrderService.dll --urls="http://*:7004" --ip="127.0.0.1" --port=7004

　　dotnet OrderService.dll --urls="http://*:7005" --ip="127.0.0.1" --port=7005

　　dotnet OrderService.dll --urls="http://*:7006" --ip="127.0.0.1" --port=7006

(4). PostMan测试： Get测试： http://127.0.0.1:7020/GoodsService/Catalog/GetGoodById1?id=123，多次请求，如图一

　　　　　　　　　Post请求：http://127.0.0.1:7020/OrderService/Buy/pOrder1 ，多次请求，如图二

图一：

图二：

二. 限流

1. 含义

　可以限制一段时间内请求数量，当超过这个数量，则截断请求不进行转发。

2. 核心配置剖析

(1). Routes下的配置

"RateLimitOptions": {
    "ClientWhitelist": [],
    "EnableRateLimiting": true,
    "Period": "10s",
    "PeriodTimespan": 10,
    "Limit": 2
}

　　- ClientWihteList 白名单

　　- EnableRateLimiting 是否启用限流

　　- Period 统计时间段：1s, 5m, 1h, 1d

　　- PeroidTimeSpan 多少秒之后客户端可以重试

　　- Limit 在统计时间段内允许的最大请求数量

(2).全局配置

"GlobalConfiguration": {
    "RateLimitOptions": {
    "DisableRateLimitHeaders": false,
    "QuotaExceededMessage": "您访问的网站流量处于流量高峰期，您的请求被截断了",
    "HttpStatusCode": 888,
    "ClientIdHeader": "xxxxx1"
    }
}

　　- DisableRateLimitHeaders：Http头 X-Rate-Limit 和 Retry-After是否禁用。

　　- QuotaExceedMessage 当请求过载被截断时返回的消息。

　　- HttpStatusCode 当请求过载被截断时返回的http status。

　　- ClientIdHeader 用来识别客户端的请求头，默认是 ClientId。

核心配置分享：

{
  "Routes": [
    {
      //转发下游(业务服务器)的匹配规则
      "DownstreamPathTemplate": "/api/{url}",
      //下游请求类型
      "DownstreamScheme": "http",
      //下游的ip和端口，和上面的DownstreamPathTemplate匹配起来
      "DownstreamHostAndPorts": [
        {
          "Host": "127.0.0.1",
          "Port": 7001
        }
      ],
      //上游(即Ocelot)接收规则
      "UpstreamPathTemplate": "/GoodsService/{url}",
      //上游接收请求类型
      "UpstreamHttpMethod": [ "Get", "Post" ],
      "RateLimitOptions": {
        "ClientWhitelist": [],
        "EnableRateLimiting": true,
        "Period": "10s",
        "PeriodTimespan": 10,
        "Limit": 2
      }
    },
    {
      "DownstreamPathTemplate": "/api/{url}",
      "DownstreamScheme": "http",
      "DownstreamHostAndPorts": [
        {
          "Host": "127.0.0.1",
          "Port": 7004
        }
      ],
      "UpstreamPathTemplate": "/OrderService/{url}",
      "UpstreamHttpMethod": [ "Get", "Post" ]
    }
  ],
  //全局配置
  "GlobalConfiguration": {
    "RateLimitOptions": {
      "DisableRateLimitHeaders": false,
      "QuotaExceededMessage": "您访问的网站流量处于流量高峰期，您的请求被截断了",
      "HttpStatusCode": 888,
      "ClientIdHeader": "xxxxx1"
    }
  }
}

3. 测试

(1). 启动网关：【dotnet OcelotGateWay.dll --urls="http://*:7020" --ip="127.0.0.1" --port=7020 】

(2). 启动业务服务器：【dotnet GoodsService.dll --urls="http://*:7001" --ip="127.0.0.1" --port=7001 】

(3). PostMan测试： Get测试： http://127.0.0.1:7020/GoodsService/Catalog/GetGoodById1?id=123, 快速点击到第三次

A.不使用全局配置的情况如下图：

B.使用全服配置的情况如下图：

 

三. 缓存

1. 含义

　Ocelot可以对下游请求结果进行缓存 ，目前缓存的功能还不是很强大。它主要是依赖于[CacheManager](https://github.com/MichaCo/CacheManager) 来实现的。

2. 核心配置

(1).通过Nuget安装  Ocelot.Cache.CacheManager.【16.0.1】

(2).在Routes中配置：

"FileCacheOptions": {
    "TtlSeconds": 15, //过期时间（秒）
    "Region": "00001" //缓存分区名称
}

(3).ConfiguereSevice中配置：AddCacheManager(x =>{ x.WithDictionaryHandle();});

核心配置：

{
  "Routes": [
    {
      //转发下游(业务服务器)的匹配规则
      "DownstreamPathTemplate": "/api/{url}",
      //下游请求类型
      "DownstreamScheme": "http",
      //下游的ip和端口，和上面的DownstreamPathTemplate匹配起来
      "DownstreamHostAndPorts": [
        {
          "Host": "127.0.0.1",
          "Port": 7001
        }
      ],
      //上游(即Ocelot)接收规则
      "UpstreamPathTemplate": "/GoodsService/{url}",
      //上游接收请求类型
      "UpstreamHttpMethod": [ "Get", "Post" ],
      //缓存
      "FileCacheOptions": {
        "TtlSeconds": 15,
        "Region": "00001"
      }
    },
    {
      "DownstreamPathTemplate": "/api/{url}",
      "DownstreamScheme": "http",
      "DownstreamHostAndPorts": [
        {
          "Host": "127.0.0.1",
          "Port": 7004
        }
      ],
      "UpstreamPathTemplate": "/OrderService/{url}",
      "UpstreamHttpMethod": [ "Get", "Post" ]
    }
  ]
}

Startup：

 public class Startup
    {
        public Startup(IConfiguration configuration)
        {
            Configuration = configuration;
        }

        public IConfiguration Configuration { get; }

        // This method gets called by the runtime. Use this method to add services to the container.
        public void ConfigureServices(IServiceCollection services)
        {
            //1.注册Ocelot
            var ocelot = services.AddOcelot();
            //2. 给Ocelot注册Consul支持  (或者和上面写一起：services.AddOcelot().AddConsul();)
            ocelot.AddConsul();

            //3.给Ocelot添加缓存支持
            ocelot.AddCacheManager(x =>
            {
                x.WithDictionaryHandle();
            });
 
            services.AddControllers();
        }

        // This method gets called by the runtime. Use this method to configure the HTTP request pipeline.
        public void Configure(IApplicationBuilder app, IWebHostEnvironment env)
        {
            if (env.IsDevelopment())
            {
                app.UseDeveloperExceptionPage();
            }

            //1.使用Ocelot
            app.UseOcelot().Wait();    //这里不写异步用法了

            app.UseRouting();

            app.UseAuthorization();

            app.UseEndpoints(endpoints =>
            {
                endpoints.MapControllers();
            });
        }
    }

Api方法：

        /// <summary>
        /// 测试Ocelot的缓存机制
        /// </summary>
        /// <param name="id"></param>
        /// <returns></returns>
        [HttpGet]
        public string TestCache()
        {
            Random r = new Random();
            var d1 = r.Next(1, 100000);
            var d2 = Guid.NewGuid().ToString("N");

            return $"返回值为：d1={d1},d2={d2}";
        }

3. 测试

(1). 启动网关：【dotnet OcelotGateWay.dll --urls="http://*:7020" --ip="127.0.0.1" --port=7020 】

(2). 启动业务服务器：【dotnet GoodsService.dll --urls="http://*:7001" --ip="127.0.0.1" --port=7001 】

　　　　　　　　　　并在其中增加一个新的测试方法：TestCache，每次返回不同的随机数

(3). PostMan测试： Get测试： http://127.0.0.1:7020/GoodsService/Catalog/TestCache, 快速点击，发现返回值不变，15s后，产生了新的返回。

相关截图如下：

四. 熔断机制

1. 含义

　　熔断的意思是停止将请求转发到下游服务。当下游服务已经出现故障的时候再请求也是功而返，并且会增加下游服务器和API网关的负担。

2. 核心配置

(1). 通过Nuget安装 Ocelot.Provider.Polly. 【16.0.1】

(2). 在Routes配置：

"QoSOptions": {
　　"ExceptionsAllowedBeforeBreaking": 3, //允许异常请求的个数
　　"DurationOfBreak": 10000, //熔断时间(毫秒)
　　"TimeoutValue": 5000 //如果下游请求的处理时间超过多少则自动将请求设置为超时
}

(3).ConfiguereSevice中配置：ocelot.AddPolly();

核心配置：

{
  "Routes": [
    {
      //转发下游(业务服务器)的匹配规则
      "DownstreamPathTemplate": "/api/{url}",
      //下游请求类型
      "DownstreamScheme": "http",
      //下游的ip和端口，和上面的DownstreamPathTemplate匹配起来
      "DownstreamHostAndPorts": [
        {
          "Host": "127.0.0.1",
          "Port": 7001
        }
      ],
      //上游(即Ocelot)接收规则
      "UpstreamPathTemplate": "/GoodsService/{url}",
      //上游接收请求类型
      "UpstreamHttpMethod": [ "Get", "Post" ],
      //熔断机制
      "QoSOptions": {
        "ExceptionsAllowedBeforeBreaking": 3, //允许异常请求的个数
        "DurationOfBreak": 10000,      //熔断时间(毫秒)
        "TimeoutValue": 5000        //如果下游请求的处理时间超过多少则自动将请求设置为超时
      }
    },
    {
      "DownstreamPathTemplate": "/api/{url}",
      "DownstreamScheme": "http",
      "DownstreamHostAndPorts": [
        {
          "Host": "127.0.0.1",
          "Port": 7004
        }
      ],
      "UpstreamPathTemplate": "/OrderService/{url}",
      "UpstreamHttpMethod": [ "Get", "Post" ]
    }
  ]
}

Startup类：

 public class Startup
    {
        public Startup(IConfiguration configuration)
        {
            Configuration = configuration;
        }

        public IConfiguration Configuration { get; }

        // This method gets called by the runtime. Use this method to add services to the container.
        public void ConfigureServices(IServiceCollection services)
        {
            //1.注册Ocelot
            var ocelot = services.AddOcelot();
            //2. 给Ocelot注册Consul支持  (或者和上面写一起：services.AddOcelot().AddConsul();)
            ocelot.AddConsul();
            //4.给Ocelot添加熔断机制
            ocelot.AddPolly();

            services.AddControllers();
        }

        // This method gets called by the runtime. Use this method to configure the HTTP request pipeline.
        public void Configure(IApplicationBuilder app, IWebHostEnvironment env)
        {
            if (env.IsDevelopment())
            {
                app.UseDeveloperExceptionPage();
            }

            //1.使用Ocelot
            app.UseOcelot().Wait();    //这里不写异步用法了

            app.UseRouting();

            app.UseAuthorization();

            app.UseEndpoints(endpoints =>
            {
                endpoints.MapControllers();
            });
        }
    }

3. 测试

(1).启动网关：【dotnet OcelotGateWay.dll --urls="http://*:7020" --ip="127.0.0.1" --port=7020 】

(2).不启动业务服务，也就是模拟业务服务器宕机的情况

(3).PostMan测试： Get测试： http://127.0.0.1:7020/GoodsService/Catalog/TestCache

　　A.快速点击3次,返回状态码为502 Bad Gateway

　　B.接着点击，返回状态码为503Service Unavailable，且是瞬间返回，说明已经熔断了

　　C.10秒后，再次点击，接着又是502 Bad Gateway

 

!

• 作       者 : Yaopengfei(姚鹏飞)
• 博客地址 : http://www.cnblogs.com/yaopengfei/
• 声     明1 : 如有错误，欢迎讨论，请勿谩骂^_^。
• 声     明2 : 原创博客请在转载时保留原文链接或在文章开头加上本人博客地址，否则保留追究法律责任的权利。