zoukankan      html  css  js  c++  java
  • 爬取网易云音乐评论

      最近想做一个项目,需要大量的数据,所以就想爬取一下网易云音乐的评论,虽然不知道可以用来干嘛,先权当作一个python爬虫项目了,通过这个项目发现自己在python方面的很多东西都记得不清了,最近需要好好补一补。

    方法:

      1.首先,网易云web页面的源代码中并没有我们所需要的信息通过知乎回答(https://www.zhihu.com/question/36081767)可以看到我们所需要的评论等信息是通过一个psot请求返回的,保存在json格式中,

       而post请求访问需要一个加密参数data_form,其加密过程在该知乎回答中有解答。

      2.虽然加密代码有,但由于我的python版本号是3.6.5的,所以在windows下安装pycyrpto模块的时候会有一些问题,这些问题可以通过百度解决。

      3.扩展了一下代码,将读取的评论,评论人id和评论点赞数写入本地txt文件,但是如果某首歌下评论数太多,当爬取一定量评论时,会无法访问歌曲的评论页面,需要添加一下代理。

    代码已经上传到:https://github.com/Wobum/WYmusic_content_crawl

    思考:

      自己的项目经验太少,现在基础的东西已经学得差不多了,以后要通过实践掌握这些东西。这次项目知识爬取某一首歌下面的评论,需要自己提供歌曲的url连接,最近可以尝试通过读取某一个歌单下面的歌曲读出歌曲id,将获得数据保存入数据库中,最近在学hadoop中,可以尝试通果hadoop进行分析。

  • 相关阅读:
    rem是如何实现自适应中的?
    meta基础知识
    JqueryMobile动态生成listView并实现刷新的两种方法
    javascript中for/in循环及使用技巧
    JavaScript中this详解
    使用css实现全兼容tooltip提示框
    如何使用CSS3画出一个叮当猫
    jQuery实现的Div窗口震动效果实例
    jQuery实现动态添加和删除一个div
    js对文章内容进行分页示例代码
  • 原文地址:https://www.cnblogs.com/wobu/p/9033805.html
Copyright © 2011-2022 走看看