zoukankan      html  css  js  c++  java
  • TF-IDF与余弦应用 新闻摘要

    2007年,美国学者的论文《A Survey on Automatic Text Summarization》(Dipanjan Das, Andre F.T. Martins, 2007)总结了目前的自动摘要算法。其中,很重要的一种就是词频统计。

    这种方法最早出自1958年的IBM公司科学家H.P. Luhn的论文The Automatic Creation of Literature Abstracts

    Luhn博士认为,文章的信息都包含在句子中,有些句子包含的信息多,有些句子包含的信息少。"自动摘要"就是要找出那些包含信息最多的句子。

    句子的信息量用"关键词"来衡量。如果包含的关键词越多,就说明这个句子越重要。Luhn提出用""cluster)表示关键词的聚集。所谓""就是包含多个关键词的句子片段。

    Luhn的这种算法后来被简化,不再区分"",只考虑句子包含的关键词。

    根据该理论写出测试程序。

    数据源:http://sports.qq.com/a/20150430/005835.htm

    新闻摘要:

    430日讯 北京时间430245分,2014-15赛季意甲第33轮,尤文图斯坐镇尤文图斯竞技场32战胜佛罗伦萨。

    此役是布冯第528次为尤文出场,布冯超越弗里诺,在尤文历史出场排行榜上排名第三位,仅次于皮耶罗(705)和西雷阿(552)。

    此役是马尔基西奥第300次为尤文出场(职业生涯第380),共打入34球,其中包括208场意甲,25场意乙,15场意大利杯,31场欧冠,18场欧联杯以及3场意大利超级杯。

    如图:

     

  • 相关阅读:
    增删改
    创建数据库
    数据库的列类型
    数据库
    Python os.ttyname() 方法
    Python os.tmpnam() 方法
    Python os.tmpfile() 方法
    Python os.tempnam() 方法
    Python os.tcsetpgrp() 方法
    LR运行负载测试场景-笔记
  • 原文地址:https://www.cnblogs.com/yufan27209/p/4468230.html
Copyright © 2011-2022 走看看