最近项目需要网上抓取了论坛文章,文章是按照作者关联的,一个作者下面有很多文章,不同的作者之间的文章有可能是重复,发现里面有很多文章内容是重复。现在需要通过程序自动识别,如果文章 的相识度达到30%就删除时间比较晚更新的那篇。