敏感词过滤（java）

在一些评论文章中经常需要过滤敏感词，下面是过滤敏感词的步骤。

1.通过敏感词创建一个字典树的类

2.把所有敏感词放入字典树中

3.判断文章中是否有敏感词

1）.创建一个字典树，字典树根节点不存数据，定义一个字典树的类，可以定义如下方法1.设置当前节点终结点，2.添加节点，3.获取下一个节点，4.判断是否为终点，

private class TrieNode {
        /**
         * true 关键词的终结 ； false 继续
         */
        private boolean end = false;
        /**
         * key下一个字符，value是对应的节点
         */
        private Map<Character, TrieNode> subNodes = new HashMap<>();
        /**
         * 向指定位置添加节点树
         */
        void addSubNode(Character key, TrieNode node) {
            subNodes.put(key, node);
        }
        /**
         * 获取下个节点
         */
        TrieNode getSubNode(Character key) {
            return subNodes.get(key);
        }
        boolean isKeywordEnd() {
            return end;
        }
        void setKeywordEnd(boolean end) {
            this.end = end;
        }
        public int getSubNodeCount() {//得到当前节点所有数量 暂时没用
            return subNodes.size();
        }
 }

　　 /**
     * 根节点
     */
    private TrieNode rootNode = new TrieNode();

  /**
     * 判断是否是一个符号
     */
    private boolean isSymbol(char c) {
        int ic = (int) c;
        // 0x2E80-0x9FFF 东亚文字范围
        return !CharUtils.isAsciiAlphanumeric(c) && (ic < 0x2E80 || ic > 0x9FFF);
    }

 2）把敏感词添加到字典树中

private void addWord(String lineTxt) {
        TrieNode tempNode = rootNode;
        // 循环每个字节
        for (int i = 0; i < lineTxt.length(); ++i) {
            Character c = lineTxt.charAt(i);
            // 过滤空格 不是英文 不是东亚文字，则过滤
            if (isSymbol(c)) {
                continue;
            }
            TrieNode node = tempNode.getSubNode(c);

            if (node == null) { // 没初始化
                node = new TrieNode();
                tempNode.addSubNode(c, node);
            }

            tempNode = node;

            if (i == lineTxt.length() - 1) {
                // 关键词结束， 设置结束标志
                tempNode.setKeywordEnd(true);
            }
        }
    }

3）对文章内容进行敏感词过滤       1. rootNode 是根节点，2.begin是每一次比较敏感词开始的节点，3.position 是当前正在比较的位置

/**
     * 过滤敏感词
     */
    public String filter(String text) {
        if (StringUtils.isBlank(text)) {
            return text;
        }
        String replacement = "***";//用***代替敏感词
        StringBuilder result = new StringBuilder();   //如果不是敏感词则存放在result中

        TrieNode tempNode = rootNode;
        int begin = 0; // 回滚数
        int position = 0; // 当前比较的位置

        while (position < text.length()) {
            char c = text.charAt(position);
            // 空格直接跳过
            if (isSymbol(c)) {
                if (tempNode == rootNode) {
                    result.append(c);
                    ++begin;
                }
                ++position;
                continue;
            }

            tempNode = tempNode.getSubNode(c);

            // 当前位置的匹配结束
            if (tempNode == null) {
                // 以begin开始的字符串不存在敏感词
                result.append(text.charAt(begin));
                // 跳到下一个字符开始测试
                position = begin + 1;
                begin = position;
                // 回到树初始节点
                tempNode = rootNode;
            } else if (tempNode.isKeywordEnd()) {
                // 发现敏感词， 从begin到position的位置用replacement替换掉
                result.append(replacement);
                position = position + 1;
                begin = position;
                tempNode = rootNode;
            } else {
                ++position;
            }
        }

        result.append(text.substring(begin));

        return result.toString();
    }

rootNode