如何开始一个小点呢？
最近在做去重，有两方面，URL去重与漏洞去重。
关于去重，情况过于复杂。
URL去重，这是第一版，用正则进行mysql的匹配，删除匹配到的URL剩余一条。这样要写的规则实在是太多了，如何提高效率，提高规则编写、测试、删除、更新的效率又是一个问题。这些又大多是在规则编写的过程中逐渐形成自动化。
漏洞去重，要求同一条漏洞不重复五次。本来是对URL去重做第二版，但因为要这是精细的，所以做着做着成了漏洞去重。
归一化规则，去重引擎，数据模型，各种各样的漏洞类型，各异的结果输出方式。
我是先做了URL的第二版，再转到漏洞去重；做完了单一条归一化的规则，才将规则抽取出来，做成了引擎；做完了XSS，再做其他由 url + params确定的漏洞。刚开始做的是去重程序去适应漏洞的输出，比如XSS的输出有1.在URL中直接插入payload ； 2.将payload写入payload字段。用程序去判断。但后来发现，各种各样的形式太多了。所以又写了个梳理程序。
这些流程如果能一开始就想好，或者大致的想好，那么会节省很多迭代的流程吧。