zoukankan      html  css  js  c++  java
  • udp重发java实现

    最近在处理框架通讯方面的问题,通过积累的开发经验,其实在很多情况(尤其是实时大数据量),udp是占有很多优势的;不需要连接,只管发送,理论上要快很多;

    另外在穿墙上占有很大优势;

    但是最大的一个问题就是丢包;

    很多时候我们会结合我们的业务来进行发送与回执,这样的方式应该是最好的;但是也意味着每次都得重来一次;因此花费了一些时间来写这个重发逻辑;当然目前仅是测试;

    封装了一个udp重发;其实组播也可以直接使用,只是我还没有完成封装,原理一样,只不过组播封装重发,会浪费网络资源,只要一个节点(把一个接收位置看作一个节点)没有收到其中一个包,就需要发送端发送,所有节点都会接收(并不影响数据完整,在接收端已经封装了接收方式,不会造成数据重复);不说组播了,回到udp重发;

    大体结构:

    1.每一次发送都视为session;

    1》judpclient为封装的发送端,发送数据时,会自动分包,按照udp65535大小(可以设置);每次发送分配一个发送端session(同时产生id),每次发送分包时,都会依次产生

    一个初始化序列号,按照初始序列号,每包设置一个id,按照此发送打包数据发送

    2》同时会发送一个ack发送确认包,防止数据包只有一个被丢包;

    3》发送后等待数据返回

    4》judpclient关闭只是逻辑关闭

    2.接收端

     接收端按照来源IP,端口产生一个接收端session,然后接收数据,组织数据,检查丢包,发送丢包ack;

    接收端设计了serversession及buffer,所以不用担心数据重发造成数据重复的问题,该结构读取方式已经直接避免了

    3.辅助应用

    因为是辅助,无法判断judpclient使用情况,所以利用java特点,在回收对象时设置逻辑关闭;同时控制时间,来判断通讯真实关闭(因为发送端还要监听等待重发)

    4.共享session

    最开始的设计是不共享的,但是在测试时发现,在极端时候,因为发送端占有端口监听需要时间,重新初始化judpclient对象,会导致端口占用完,无法再分配;所以

    最后采用了共享的方式,让多个judpclient实际使用一个真正的udp底层通讯;每个judpclient产生一个id,来判断数据接收时往哪里发送,触发哪个对象的方法;

    5.缓存问题解决方式

    数据重发就意味着发送的数据需要缓存下来,准备重新发送;这样如果发送大量数据,发送端就可能“爆满”,所以要减少内存使用;

    处理方式:做一个简单的数据量统计(不精确,也不需要精确),当这个量达到一定值后,就把数据由内存转移到磁盘中;

                     我自己设计了一个文件保存方式(做了一个文件持久化层),来按照一定方式保存,也实现了文件删除,修改(修改没有必要);

                    里面主要是有个索引维护;同时使用了内存数据库表(如果不实现文件修改是没有必要的,通过异步方式保证文件索引准确,又不影响使用效率)

                   最开始我没有使用文件,而是查找了数据库(paldb,fastdb,mapdb等等),但是效果不尽人意,通过磁盘,其实一般磁盘读取在30M/s,而数据库是做不到的;因此我直接采用了文件读取方式;我并不是要做一个文件数据库,所以在实现文件修改时,任然使用了第三方数据库h2,简单直接,索引使用足够了,而且是异步;在数据重发这里,文件修正是没有必要的,实现该功能只是想让模块更加完整而已;

    文件保存,也是通过一个简单的计数,每次10M左右的数据一起写入文件;

    当接收端数据接收完成后,会回复一个接收完成ack包,发送端解析信息后,会把接收完成的一次会话数据都删除掉;

    使用数据库保存的最初代码我并没有删除,只是没有使用而已;

    6.遗留问题(需要优化)

    通过重新构造,其实最大问题在于我无法控制judpclient的使用,这样会造成很多线程启动,在监听数据返回的信息(丢包,完成),这样造成大量线程存在,虽然应用了线程池,根据现在的测试,发送端cpu 15-35%都是有可能的;阻塞的线程也很多,一旦彻底完成发送,同时退出的线程同样多,但是感觉这样也没有影响测试使用(可能是我的java水平不过关,有的测试结果我感觉很怪);所以需要缩减线程以及阻塞集合;

    7.共享session分配

      专门有个管理池分配,其实就是定一个最大个数,使用完了就再产生一个,同时监视是否共享session关闭情况

    8.其它辅助实现

     使用了guava的缓存及eventbus;

    数据发送打包与解析配套(接收端也可以正常使用)

    9.源码

    eclipse编译;现在已经上传git;

    地址:https://github.com/jinyuttt/jyudp.git

    我也会上传到csdn,不过可能超过大小;

  • 相关阅读:
    20181120-1 每周例行报告
    20181113-2 每周例行报告
    20181030-4 每周例行报告
    20181023-3 每周例行报告
    第六周例行报告
    软件功能说明书final修订
    第十二周——例行报告
    PSP总结报告
    第十一周——例行报告
    PSP Daily软件beta版本——基于NABCD评论,及改进建议
  • 原文地址:https://www.cnblogs.com/jinyu20180311/p/10312392.html
Copyright © 2011-2022 走看看