zoukankan      html  css  js  c++  java
  • 几个非常适合新手练习python爬虫的网页,总有一款能搞定!

    给大家推荐几个适合新入门学习Python爬虫的网页,总有一款适合你!

    几个非常适合新手练习python爬虫的网页,总有一款能搞定!

     

    话不多说,直接干货了!

    头条图集:抓包获取json数据

    打开今日头条主页,搜索小姐姐,或者其他你感兴趣的内容,然后点击图集

    几个非常适合新手练习python爬虫的网页,总有一款能搞定!

     

    动态加载的json数据就出来了,没有反爬,注意的是,如果不想去内容里面抓图片的话,可以只抓缩略图,就是这个页面显示的图片,它在json数据中的image_list中,注意,将url中的list换成origin,就是大图哦!代码如下

    几个非常适合新手练习python爬虫的网页,总有一款能搞定!

     

    所有的图片地址都出来了!

    全书网:直接源码匹配相关内容

    直接搜索全书网,打开主页,随便找一篇小说,比如《盗墓笔记》,点击后跳转到网页,在点击开始阅读,出现了所有章节,在进入章节就出现了小说内容,网页内容和代码如下:

    几个非常适合新手练习python爬虫的网页,总有一款能搞定!

     

    几个非常适合新手练习python爬虫的网页,总有一款能搞定!

     

    80电子书:匹配到地址直接下载压缩文件

    80电子书网和上面的全书网比较类似,但是它本身提供有下载功能,可以直接用小说Id和名字直接构建下载文件,页面截图和代码:

    几个非常适合新手练习python爬虫的网页,总有一款能搞定!

     

    几个非常适合新手练习python爬虫的网页,总有一款能搞定!

     

    几个非常适合新手练习python爬虫的网页,总有一款能搞定!

     

    其他类似网站

    类似的网站还有:妹子图网、美桌网、笔趣阁、久久等等甚至百度图片也可以用抓包获取数据的!

    以上代码都是随手写的,没有排版,大家有兴趣可以自己排下版,或者比如小说网站,可以先抓取大类别,然后在每一个类别中获取所有小说,最后在把所有小说的内容抓出来,这样就是全站爬虫了!!!

    几个非常适合新手练习python爬虫的网页,总有一款能搞定!

     

    如果大家还有什么适合的网站,希望能在评论区里共享下哦!大家一起交流下!

  • 相关阅读:
    python学习(八) 异常
    python学习(七) 更加抽象
    java面试(五)
    python学习(六) 抽象
    python学习(五) 条件、循环和其他语句
    JAVA基础知识——IO
    Java进阶之路——从初级程序员到架构师,从小工到专家(转载)
    如何成为java架构师(转载)
    python学习(四) 字典:当索引不好用时
    MVC Html.DropDownList 和DropDownListFor 的常用方法
  • 原文地址:https://www.cnblogs.com/qun542110741/p/9145286.html
Copyright © 2011-2022 走看看