NetCore下搭建websocket集群方案

介绍

最近在做一个基于netcore的实时消息服务。最初选用的是ASP.NET Core SignalR，但是后来发现目前它并没有支持IOS的客户端，所以自己只好又基于websocket重新搭建了一套服务。

因为前期已经使用了SignalR，所以我直接在原本的项目里面重新扩展了一套自定义websocket服务。

在网上有一篇博文介绍了如何在Asp.net Core中使用中间件来管理websocket,我的大部分代码也是参考这篇文章。在这儿贴个链接

在Asp.net Core中使用中间件来管理websocket

自定义WebSocket 中间件

要阅读ASP.NET Core中的WebSockets支持，可以在此处查看。如果你的项目跟我一样，已经使用了Signalr，那么你不需要在安装Microsoft.AspNetCore.WebSockets包，否则在项目开始前，

需要安装此Nuget包。现在你可以自定义你自己的中间件了。

/// <summary>
    /// websocket 协议扩展中间件
    /// </summary>
    public class CustomWebSocketMiddlewarr
    {
        private readonly RequestDelegate _next;

        public CustomWebSocketMiddlewarr(RequestDelegate next)
        {
            _next = next;
        }

        public async Task Invoke(HttpContext context, ICustomWebSocketFactory wsFactory, ICustomWebSocketMessageHandler wsmHandler)
        {
             if (context.WebSockets.IsWebSocketRequest)
                {
                    string ConId = context.Request.Query["sign"];
                    if (!string.IsNullOrEmpty(ConId))
                    {
                        WebSocket webSocket = await context.WebSockets.AcceptWebSocketAsync();
                        CustomWebSocket userWebSocket = new CustomWebSocket()
                        {
                            WebSocket = webSocket,
                            ConId = ConId
                        };
                        wsFactory.Add(userWebSocket);
                    //await wsmHandler.SendInitialMessages(userWebSocket);
                    await Listen(context, userWebSocket, wsFactory, wsmHandler);
                        
                    }
                }
                else
                {
                    context.Response.StatusCode = 400;
                }
            
            await _next(context);
        }
　　　　　//监听客户端发送过来的消息
        private async Task Listen(HttpContext context, CustomWebSocket userWebSocket, ICustomWebSocketFactory wsFactory, ICustomWebSocketMessageHandler wsmHandler)
        {
            WebSocket webSocket = userWebSocket.WebSocket;
            var buffer = new byte[1024 * 4];
            WebSocketReceiveResult result = await webSocket.ReceiveAsync(new ArraySegment<byte>(buffer), CancellationToken.None);
            while (!result.CloseStatus.HasValue)
            {
                await wsmHandler.HandleMessage(result, buffer, userWebSocket, wsFactory);
                buffer = new byte[1024 * 4];
                result = await webSocket.ReceiveAsync(new ArraySegment<byte>(buffer), CancellationToken.None);
            }
            wsFactory.Remove(userWebSocket.ConId);
            await webSocket.CloseAsync(result.CloseStatus.Value, result.CloseStatusDescription, CancellationToken.None);
        }
    }

在自定义的中间件中，首先判断是否是websocket请求，如果是的话，在查看是否有对应的sign标识，满足条件后进入后续的处理环节。

简单讲解一下这里面的处理逻辑。因为我的项目中同时存在Signalr，而Signalr也会使用到websocket协议。但是Signalr的websocket请求传入的参数是id，所以我在这儿自定义了一个参数sign为了和Signalr

做区分。那么这个sign是做什么用的呢？ 其实sign是前端传过来的唯一标识，和此次连接对应，也可以理解为Signalr里面的connectionId。然后会把标识和对应websocket类到存入到一个list集合中。即代码

中的  wsFactory.Add(userWebSocket)。

CustomWebSocket是一个包含WebSocket和标识的类：

public  class CustomWebSocket
    {
        
        public string ConId { get; set; }

        public WebSocket WebSocket { get; set; }
    }

然后定义了一个Websocket工厂类，用来存取连接到服务的Websocket实例。

//接口
public  interface ICustomWebSocketFactory
    {
        void Add(CustomWebSocket uws);
        void Remove(string conId);
        List<CustomWebSocket> All();
        List<CustomWebSocket> Others(CustomWebSocket client);
        CustomWebSocket Client(string conId);
    }
　　

具体实现

public class CustomWebSocketFactory: ICustomWebSocketFactory
    {
        List<CustomWebSocket> List;
        public CustomWebSocketFactory()
        {
            List = new List<CustomWebSocket>();
        }
        public void Add(CustomWebSocket uws)
        {
            List.Add(uws);
        }
        public void Remove(string conId)
        {
            List.Remove(Client(conId));
           
        }
        public List<CustomWebSocket> All()
        {
            return List;
        }
       
        public List<CustomWebSocket> Others(CustomWebSocket client)
        {
            return List.Where(c => c.ConId != client.ConId).ToList();
        }
        public CustomWebSocket Client(string conId)
        {
            var uws= List.FirstOrDefault(c => c.ConId == conId);
            return uws;

        }
    }

可以看到最终我们存取websocket都是通过list来进行，所以在注入的时候一定要注意。注入成单例模式。

services.AddSingleton<ICustomWebSocketFactory, CustomWebSocketFactory>();

CustomWebSocketMessageHandle包含有关消息处理的逻辑（发送，接收）

public interface ICustomWebSocketMessageHandler
    {
        Task SendInitialMessages(CustomWebSocket userWebSocket);
        Task HandleMessage(WebSocketReceiveResult result, byte[] buffer, CustomWebSocket userWebSocket, ICustomWebSocketFactory wsFactory);
        Task SendMessageInfo(string conId, object data, ICustomWebSocketFactory wsFactory);


    }

public   class CustomWebSocketMessageHandler:ICustomWebSocketMessageHandler
    {
        public async Task SendInitialMessages(CustomWebSocket userWebSocket)
        {
            WebSocket webSocket = userWebSocket.WebSocket;
            var msg = new CustomWebSocketMessage
            {
                MessagDateTime = DateTime.Now,
                Type = WSMessageType.连接响应
            };

            string serialisedMessage = JsonConvert.SerializeObject(msg);
            byte[] bytes = Encoding.ASCII.GetBytes(serialisedMessage);
            await webSocket.SendAsync(new ArraySegment<byte>(bytes, 0, bytes.Length), WebSocketMessageType.Text, true, CancellationToken.None);
        }
        /// <summary>
        /// 推送消息到客户端
        /// </summary>
        /// <returns></returns>
        public async Task SendMessageInfo(string conId,object data, ICustomWebSocketFactory wsFactory)
        {
            var uws = wsFactory.Client(conId);
            CustomWebSocketMessage message = new CustomWebSocketMessage();
            message.DataInfo = data;
            message.Type = WSMessageType.任务数量;
            message.MessagDateTime = DateTime.Now;
            if (uws == null)
            {
                //广播到其他集群节点
                var listpush = new List<PushMsg>();

                var push = new PushMsg()
                {
                    sendjsonMsg = new WebSocketFanoutDto()
                    {
                        conId = conId,
                        data = message
                    },
                    exchangeName = "saas.reltimewsmes.exchange",
                    sendEnum = SendEnum.订阅模式
                };
                listpush.Add(push);
                BTRabbitMQManage.PushMessageAsync(listpush);
                return;
            }
           
            var mesbuffer = Encoding.UTF8.GetBytes(JsonConvert.SerializeObject(message));
            var mescount = Encoding.UTF8.GetByteCount(JsonConvert.SerializeObject(message));
           await uws.WebSocket.SendAsync(new ArraySegment<byte>(mesbuffer, 0, mescount), WebSocketMessageType.Text, true, CancellationToken.None);
        }

        /// <summary>
        /// 处理接收到的客户端信息
        /// </summary>
        /// <param name="result"></param>
        /// <param name="buffer"></param>
        /// <param name="userWebSocket"></param>
        /// <param name="wsFactory"></param>
        /// <returns></returns>
        public async Task HandleMessage(WebSocketReceiveResult result, byte[] buffer, CustomWebSocket userWebSocket, ICustomWebSocketFactory wsFactory)
        {
            string msg = Encoding.UTF8.GetString(buffer);
            try
            {
                var message = JsonConvert.DeserializeObject<CustomWebSocketMessage>(msg);
                if (message.Type == WSMessageType.用户信息)
                {
                    var logdto = JsonConvert.DeserializeObject<LoginInfoDto>(message.DataInfo.ToJsonString());
                    await InitUserInfo(logdto, userWebSocket, wsFactory);
                }
               
            }
            catch (Exception e)
            {
                var exbuffer = Encoding.UTF8.GetBytes(e.Message);
                var excount = Encoding.UTF8.GetByteCount(e.Message);
                await userWebSocket.WebSocket.SendAsync(new ArraySegment<byte>(exbuffer, 0, excount), result.MessageType, result.EndOfMessage, CancellationToken.None);
            }
        }
        /// <summary>
        /// 初始化用户连接关系
        /// </summary>
        /// <param name="dto"></param>
        /// <param name="userWebSocket"></param>
        /// <param name="wsFactory"></param>
        /// <returns></returns>
        private async Task InitUserInfo(LoginInfoDto dto, CustomWebSocket userWebSocket, ICustomWebSocketFactory wsFactory)
        {
            if (dto.userId == 0)
                return;
            var contectid = userWebSocket.ConId;
            var key = "";
            if (dto.tenantId.HasValue)
                key += "T_" + dto.userId + "_" + dto.tenantId + "_" + "tenant_";
            if (dto.bankId.HasValue)
                key += "B_" + dto.userId + "_" + dto.bankId + "_" + "bank_";
            key += dto.fromeType;
            //添加缓存
            CacheInstace<string>.GetRedisInstanceDefaultMemery().AddOrUpdate(key, contectid, r =>
            {
                r = contectid;
                return r;
            });
            CacheInstace<string>.GetRedisInstanceDefaultMemery().Expire(key, new TimeSpan(12, 0, 0));
           
        }
       
    }

在这里面，推送消息到客户端的时候，如果未找到标识对应的Websocket对象，则将消息广播到所有的集群节点上。我们知道Signalr里面的集群实现通过redis来做的，但在此处，因为
我项目里面已经搭建了Rabbitmq的高可用集群，所以我直接通过Rabbitmq来进行广播。这样不管我是在集群的那个节点上来推送消息，都可以保证消息被正确推送到客户端。
关于广播消息的订阅实现：

 public class WebSocketFanoutDto
    {
        public string conId { get; set; }

        public CustomWebSocketMessage data { get; set; }
    }

 public class FanoutMesConsume : IMessageConsume
    {
        public void Consume(string message)
        {
            var condto = JsonConvert.DeserializeObject<WebSocketFanoutDto>(message);
            var wsFactory = IOCManage.ServiceProvider.GetService<ICustomWebSocketFactory>();
            var uws = wsFactory.Client(condto.conId);
            if (uws != null)
            {
                //发送消息
                var mesbuffer = Encoding.UTF8.GetBytes(JsonConvert.SerializeObject(condto.data));
                var mescount = Encoding.UTF8.GetByteCount(JsonConvert.SerializeObject(condto.data));
                uws.WebSocket.SendAsync(new ArraySegment<byte>(mesbuffer, 0, mescount), WebSocketMessageType.Text, true, CancellationToken.None);
            }
        }
    }

最后在扩展类里面添加消息监视和注入Websocket中间件。

当然不要忘记 消息处理类的依赖注入

services.AddSingleton<ICustomWebSocketMessageHandler, CustomWebSocketMessageHandler>();

 public static IApplicationBuilder UseCustomWebSocketManager(this IApplicationBuilder app)
        {
            //添加针对分布式集群的消息监视
            RabbitMQManage.Subscribe<FanoutMesConsume>(new MesArgs()
            {
                exchangeName = "reltimewsmes.exchange",
                sendEnum = SendEnum.订阅模式
            });
            return app.UseMiddleware<CustomWebSocketMiddlewarr>();
        }

至此这个框架搭建完成，最后在startup类中注入。

关于Rabbitmq的使用，发送和接收是我基于easynetq封装的一个帮助类，大家可以自行实现。

这里面最主要的逻辑就是每一个websocket实例都有一个对应的标识，然后在连接成功后，前端会发送用户信息，后端服务再把用户信息和连接标识关联。这样如果想推送信息到某个用户的话，就可以通过

用户信息来找到用户对应的连接信息。至于为什么整个流程会这么复杂的，就一言难尽（我能怎么办，我也很绝望啊）。大多数时候大家都可以直接通过token认证来绑定用户和socket连接。

目前还有几个问题一个广播消息的时候，发送消息方也会收到这个消息，这挺尴尬，目前我还没想到太好的解决办法。

第二个是采用单例list字段存储连接的websocket实例，少的时候还好，如果多的话，感觉可能会存在堆栈溢出的问题，但没实际测试过，所以目前还不知道最大的连接数多少。