1.主要研究内容包括:(1)在查阅国内外文献资料的基础上,了解电商产品评论数据情感分析关键技术流程及国内外研究现状;(2)采用网络爬虫工具(如八爪鱼采集器)采集评论数据,实现文本去重、压缩去词等文本评论数据的预处理,利用中文分词包(如结巴分词)实现文本评论分词处理,研究基于word2vec的商品评论情感分析方法,运用词袋模型进行主题分析;(3)熟悉Python文本数据挖掘开发过程,设计实现一个面向电商产品评论数据的用户情感倾向分析原型演示系统,可实现对关键环节的过程与结果的演示,以及核心算法的分析与比较。
2.已完成(1),(2)的一部分,目前已爬取数据17666条,安装Anaconda3 (64-bit)环境。
采集评论用了八爪鱼采集器http://www.bazhuayu.com/ 分别采集了京东上的飞利浦、霍尼韦尔以及松下的空气净化器各4种,共12种型号。
采集器使用方法,官网有教程,也可以参考网上资料。
安装Anaconda3:在清华镜像软件库中下载https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/
安装教程http://blog.csdn.net/qq_26898461/article/details/51488326
python数据分析需要numpy、scipy、matplotlib、pandas、scikit-learn、keras和gensim等库。
大部分Anaconda3里有集成。没有可以pip安装。由于要利用中文分词包(如结巴分词)实现文本评论分词处理,所以用pip安装。
安装后conda list