zoukankan      html  css  js  c++  java
  • 大型网站技术架构,8网站的安全架构之信息过滤与反垃圾

    常用的信息过滤与反垃圾手段有以下几种。

    8.3.1 文本匹配

    敏感词过滤

    Trie树的变种做文本匹配,空间和时间复杂度都比较好的有双数组Trie算法等。

    TODO算法原理

    另一种更简单的实现是通过构造多级Hash表进行文本匹配

    8.3.2 分类算法

    贝叶斯分类算法

    TODO算法原理

    通过对朴素贝叶斯算法增加特征值的关联依赖处理,得到TAN算法。

    更进一步,通过对关联规则的聚类挖掘,得到更强大的算法,如ARCS算法(Association Rule Clustering System)等。

    但由于贝叶斯分类算法简单,处理速度快,仍是许多实时在线系统反垃圾的首选。

    分类算法除了用于反垃圾,还可以用于信息自动分类,门户网站可用该算法采集来的新闻稿件进行自动分类,分发到不同的频道。邮箱服务商根据邮件内容推送的个性化广告也可以使用分类算法提高投送相关度。

    8.3.3 黑名单

    按照黑名单列表过滤邮件

    还可用于信息去重,如将文章标题或文章关键段落记录到黑名单中,以减少搜索引擎收录重复信息等用途。

    可以使用Hash表实现黑名单。

    在对过滤需求要求不完全精确的场景下,可用布隆过滤器代替Hash表。

    TODO布隆过滤器原理

    作者: 元宝爸爸

    出处:https://www.cnblogs.com/wozixiaoyao/p/11965398.html

    版权:本文采用「署名-非商业性使用-相同方式共享 4.0 国际」知识共享许可协议进行许可。

    觉得文章不错,点个关注呗!

  • 相关阅读:
    第16周作业
    第15周作业
    迟到的第14周作业
    第13次作业集
    软件工程结课总结
    第13次作业
    第12次作业
    第11次作业--字符串的处理
    第10次作业(2)
    第十次作业
  • 原文地址:https://www.cnblogs.com/xinrong2019/p/11621012.html
Copyright © 2011-2022 走看看