zoukankan      html  css  js  c++  java
  • 蛙蛙推荐:蛙蛙教你文本聚类 蛙蛙王子 博客园

    蛙蛙推荐:蛙蛙教你文本聚类 - 蛙蛙王子 - 博客园

    蛙蛙推荐:蛙蛙教你文本聚类

    摘要:文本聚类是搜索引擎和语义web的基本技术,这次本蛙和大家一起学习一下简单的文本聚类算法,可能不能直接用于实际应用中,但对于想学搜索技术的初学者还是有一定入门作用的。这里会用到TF/IDF权重,用余弦夹角计算文本相似度,用方差计算两个数据间欧式距离,用k-means进行数据聚类等数学和统计知识。关于这些概念可以去google,或者参考文本后的参考链接。

    思路:计算两篇文档的相似度,最简单的做法就是用提取文档的TF/IDF权重,然后用余弦定理计算两个多维向量的距离。能计算两个文本间的距离后,用标准的k-means算法就可以实现文本聚类了。

    测试:首先我们准备以下数据
    ===================
    奥运 拳击 入场券 基本 分罄 邹市明 夺冠 对手 浮出 水面
    股民 要 清楚 自己 的 目的
    印花税 之 股民 四季
    杭州 股民 放 鞭炮 庆祝 印花税 下调
    残疾 女 青年 入围 奥运 游泳 比赛 创 奥运 历史 两 项 第一
    介绍 一 个 ASP.net MVC 系列 教程
    在 asp.net 中 实现 观察者 模式 ,或 有 更 好 的 方法 (续)
    输 大钱 的 股民 给 我们 启迪
    Asp.Net 页面 执行 流程 分析
    运动员 行李 将 “后 上 先 下” 奥运 相关 人员 行李 实名制
    asp.net 控件 开发 显示 控件 内容
    奥运 票务 网上 成功 订票 后 应 及时 到 银行 代售 网点 付款
    某 心理 健康 站 开张 后 首 个 咨询 者 是 位 新 股民
    ASP.NET 自定义 控件 复杂 属性 声明 持久性 浅析
    ==================
    很明显以上数据可以分为三类:asp.net,奥运和股民,我们就写程序来实现它,各种算法的原理网上都有,我就大概只贴代码,声明一下,部分代码是从网上直接抄的,k-means代码是我从一篇文章的java示例代码转换过来的,我给代码加了不少注释,希望能帮助大家理解。

    以下是入口函数

  • 相关阅读:
    Echarts实现区级行政区划地图
    webpack4.x开发环境配置
    说说说vue.js中的组
    原生JS实现购物车功能详解
    面向对象的一些重要的基本概念
    Lucene教程
    开启事务时mybatis返回主键id
    生成二维码的方法,基于zxing
    mysql判断一条记录是否存在,如果存在,则更新此语句,如果不存在,则插入
    一:验证微信的Token
  • 原文地址:https://www.cnblogs.com/lexus/p/2809012.html
Copyright © 2011-2022 走看看