zoukankan      html  css  js  c++  java
  • 校花网爬取

    前言

    联系爬虫使用

    正文

    1、堆糖校花网API:

    获取数据的api:

     https://www.duitang.com/napi/blog/list/by_search/?kw=%E6%A0%A1%E8%8A%B1&start=0&limt=1000

    图片路径 "path":

     https://b-ssl.duitang.com/uploads/item/201509/18/20150918195615_JfdKm.jpeg

    2、简要介绍爬虫:

    (1)从技术层面来说就是 通过程序模拟浏览器请求站点的行为,把站点返回的HTML代码/JSON数据/二进制数据(图片、视频) 爬到本地,进而提取自己需要的数据,存放起来使用;

    (2)从解析过程来说:

    方式1:浏览器提交请求--->下载网页代码--->解析成页面

    方式2:模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中

    爬虫要做的就是方式2;

    爬虫过程图

    3、过程各个阶段的主要介绍:

    (1)发起请求

    使用http库向目标站点发起请求,即发送一个Request

    Request包含:请求头、请求体等 

    Request模块缺陷:不能执行JS 和CSS 代码

    (2)获取响应内容

    如果服务器能正常响应,则会得到一个Response

    Response包含:html,json,图片,视频等

     (3)解析内容

    解析html数据:正则表达式(RE模块),第三方解析库如Beautifulsoup,pyquery等

    解析json数据:json模块

    解析二进制数据:以wb的方式写入文件

     (4)保存数据

    数据库(MySQL,Mongdb、Redis)或   文件

    参考博客:http://www.cnblogs.com/linhaifeng/articles/7773496.html

    ***************小福利Tip***************

    https://cdn.yangju.vip/k/?url=
    https://cdn.yangju.vip/k/?url=

    https://jx.lache.me/cc/?url=

    https://api.653520.top/vip/?url=

    https://jx.ab33.top/vip/?url=

    https://vip.mpos.ren/v/?url=

    https://jx.000180.top/jx/?url=

    https://jx.km58.top/jx/?url=
    

     

  • 相关阅读:
    myEclipse Debug
    C# DataTable的詳細使用方法
    算法 《秦九韶算法java实践》
    【闲聊产品】之五:谁来背黑锅?
    ubuntu install mysql server method
    H264解码的一个測试程序
    Struts2自己定义拦截器实例—登陆权限验证
    【剑指offer】二叉树的镜像
    ubuntu12.04下搭建ftpserver
    C++Vector使用方法
  • 原文地址:https://www.cnblogs.com/haoxinchen/p/10099232.html
Copyright © 2011-2022 走看看