zoukankan      html  css  js  c++  java
  • word2-寻找社交新浪微博中的目标用户

    项目简述:

    为了进行更加精准的营销, 利用数据挖掘相关算法, 利用开放API或自行编写爬虫获得新浪微博, 知乎等社交网络(可能需要破解验证码)中用户所发布的数据, 利用数据挖掘的相关算法进行分析, 从大规模的用户群体中, 分别找出其中具有海淘或母婴购物意向的用户

    使用语言:

    java

    工具:

    eclipse

    项目过程论述:

    1.收集新浪微博用户的数据

    2.对这些用户数据进行分析,判断其是否具有母婴的购物意向。

    3.对这些具有母婴购物意向的用户进一步分类,分成衣食住行四类。

    4.给分好类之后的用户进行推荐相应的母婴商品。

    工作流程图如图所示:

    ----------------------------------------------------------------------------------------------

    过程1-----收集新浪微博用户的数据

    目的:收集每个用户至少300条微博,不足收集全部,太少则放弃。

    收集工具:八爪鱼收集器

    收集方法:按照关键词收集,利用新浪微博强大的搜索引擎。

    收集规则:

    收集结果(存放到mysql):

    -------------------------------------------------------------------------------------------------------------------------------------------------------------

    过程2-----对收集到的新浪微博用户进行分析,判断其是否具有母婴的购物意向

    目的:对一个用户分析,判断是/否具有母婴购物意向

    方法:使用向量空间模型的余弦相似度,即两个向量之间的夹角越小,则余弦值越大,这两个向量就越相似

    实现过程:

    前提:收集数据的时候收集两部分数据,一部分人工判断已知具有母婴购物意向,另一部分是未知购物意向的用户。

    1.将每个用户的向量都抽象成N维向量。

      方法:参考石延君的博客参考石延君的博客http://shiyanjun.cn/archives/548.html

              具体如下:

             1)先找出能代表这个用户微博的关键词,将这个用户的微博都存储在一个txt文件中,大致过程如下

               

            2)找出特征向量后,给特征向量的每一维都赋予权重,可以得到初步的N维具有权重的向量。

               

            3)对N维向量进行归一化,直接利用libsvm的scale函数即可(可以参考libsvm的使用方法)。

    2.计算未知用户向量与已知购物意向用户向量之间的余弦相似度,如果超过0.5,则认为其是相似的,则有理由认为这些未知用户是具有母婴购物意向的。

         

    ---------------------------------------------------------------------------------------------------------------------------------------------------

    过程3--------对分析出来具有母婴购物意向的用户进一步分类,分成衣食住行四类

     理论基础:使用libsvm来分类

    训练集是预先收集好的,分成衣食住行四类的新浪微博用户,带预测集是过程1和2分析出来的具有母婴购物意向的用户。

    -----------------------------------------------------------------------------------------------------------------------------------------

    过程4------推荐商品

  • 相关阅读:
    百马百担
    穷举
    折叠次数
    判断年份是否是闰年
    定义xy比大小
    1月21日
    1月20日作业-第三题
    1月20日作业-第二题
    1月18日
    1月18日
  • 原文地址:https://www.cnblogs.com/caimuqing/p/5662526.html
Copyright © 2011-2022 走看看