zoukankan      html  css  js  c++  java
  • 敏感词过滤算法

    如果有字符串为xwabfabcff,敏感词为abc、bf、bc、m,若这个字符串中包含敏感词,则使用***代替敏感词,实现一个算法。

    算法如下:

    1.使用三个指针,指针1指向根节点,指针2指向字符串下标起始值,指针3指向字符串当前下标值。指针1为tempnode=rootnode,指针2为begin=0,指针3为position=0,创建sb来保存结果;

    2.遍历x,tempnode未找到子节点x,将x报存到sb中,begin=begin+1;position=begin,tempnode=rootnode;

    遍历w,tempnode未找到子节点w,将w报存到sb中,begin=begin+1;position=begin,tempnode=rootnode;

    遍历a,tempnode找到子节点a,tempnode指向a节点,则position++;

    遍历b,tempnode发现a节点下有b这个子节点,所以,tempnode指向b节点,则position++;

    遍历f,tempnode发现b节点下没有f这个子节点,所以,代表以begin开头的字符串,不会有敏感字符,因此,将a存入sb中。position=begin+1;bigin=position;tempnode=rootnode

    遍历a,tempnode找到子节点a,tempnode指向a节点,则position++;

    遍历b,tempnode发现a节点下有b这个子节点,所以,tempnode指向b节点,则position++;

    遍历c,tempnode发现b节点下有c这个子节点,而且c值敏感词结尾标记,所以,打码。将***写入sb中,同时,begin=position+1;position=begin;tempnode=rootnode;

    遍历f,tempnode发现根节点下没有f这个节点,因此,将f存入sb中。position=begin+1;bigin=position;tempnode=rootnode;

    遍历f,tempnode发现根节点下没有f这个节点,因此,将f存入sb中。position=begin+1;bigin=position;tempnode=rootnode;

    因此,最后sb中为:xwa******ff;

    这里每次是将position指向的字符挨个的与tempnode的子节点进行比较,因此,代码中的while条件应该是

    while (position < text.length()){}
    同时,需要思考:
    如果字符串为xwabfabcfb,则最后,begin指向b下标,position指向b下标,tempnode发现根节点下有b节点,因此position++;然后就退出循环了。而此时,sb中还只保存了xwa******f,
    所以,我们在循环的最后,还要将最后一串字符串加进来。
     result.append(text.substring(begin));

    分析后,整个代码如下:
    /**
    * 过滤敏感词
    */
    public String filter(String text) {
    if (StringUtils.isBlank(text)) {
    return text;
    }
    String replacement = DEFAULT_REPLACEMENT;
    StringBuilder result = new StringBuilder();

    TrieNode tempNode = rootNode;
    int begin = 0; // 回滚数
    int position = 0; // 当前比较的位置
    while (position < text.length()) {
    char c = text.charAt(position);
    tempNode = tempNode.getSubNode(c);
    if (tempNode == null) {
    result.append(text.charAt(begin));
    // 跳到下一个字符开始测试
    position = begin + 1;
    begin = position;
    // 回到树初始节点
    tempNode = rootNode;
    } else if (tempNode.isKeywordEnd()) {
    // 发现敏感词, 从begin到position的位置用replacement替换掉
    result.append(replacement);
    position = position + 1;
    begin = position;
    tempNode = rootNode;
    } else { //还不确定是不是敏感词
    ++position;
    }
    }
    result.append(text.substring(begin));

    return result.toString();
    }


    
    
  • 相关阅读:
    idea配置SOLServer错误解决记录
    精确的double加减乘除运算工具类
    Java类型转换工具类(十六进制—bytes互转、十进制—十六进制互转,String—Double互转)
    rest的Web服务端获取http请求头字段
    前端开发规范:1-通用规范
    一些webpack常见编译报错的解决方案
    常用的数组对象操作方法
    理解ES6的新数据类型:Symbol
    canvas在vue中的应用
    vue-cli3+typescript+路由懒加载报错问题
  • 原文地址:https://www.cnblogs.com/lchzls/p/6686180.html
Copyright © 2011-2022 走看看