爬虫已经采集到足够的网页内容,但要实现分类查询,必须要先把内容分类--如果是全文检索就不必了。
靠什么来自动分类呢?晚上在门口那条街上来回逛了好几趟,只想到“词频”这个词。
一定有人做过这个工作了。
如果“价格”出现频率高,那就是商业站点
如果“书”出现频率高,那就是网上书店
还可以用组合频率,如果“价格”+“商品”出现频率高,那更加确定是商业站点
这个概率的度量应该怎确定呢?
我想按比重吧。概率统计没学好,这样分析太浅薄了。算法也得重新复习。
日益被公司的垃圾活所淹没,谋生艰难,脑袋都锈了。
又一位MM拒绝了我的....,好像注定了要光棍了。