zoukankan      html  css  js  c++  java
  • cookie的处理和代理池的建立


    1.cookie
    什么是cookie: cookie是服务端创建的数据(相当于一个身份卡片),用户给服务端发起请求时服务端会给这个用户返回这个卡片,然后保存在本地中,客户端再次访问服务端
    就可以带着这个卡片去访问,服务端就可以根据这个卡片找到用户的数据
    我们一般用cookie作免密码登入
    处理cookie的俩个方式:
    1.手动处理:将cookie写在headers中
    2.用Session对象自动处理:
    (1)什么时Session对象:它能让你跨请求保存某些参数。用这个实例发起的请求,它会请求保存之间的信息(包括cookie)
    (2)怎么使用Session对象:可以跟requests一样调用get/post进行请求的发送。在使用session进行请求发送的过程中,如果产生了cookie,则cookie会被自动存储到session对象中。
    所以最少要是有2次才能在爬虫中实现自动化处理他(第一次获取cookie,第二次使用cookie)
    使用一个案例来实现 ---->https://www.cnblogs.com/KingOfCattle/p/12930789.html

    2. 代理服务器的操作
    代理服务器就是用来转发请求和响应。可以让代理服务器转发请求从而更换请求的原始ip地址。
    代理的匿名度:
    透明:对方服务器知道你使用了代理也知道你的真实ip
    匿名:知道你使用了代理,但是不知道你的真是ip
    高匿:不知道你使用了代理,更不知道你的真是ip
    代理的类型
    http:只能代理http协议的请求
    https:代理https协议的请求

    怎么使用代理:
    1. 在http://http.zhiliandaili.cn中购买代理
    2.购买后生成白名单(自己的ip地址)
    3.生成ip地址
    4.然后根据生成的url中获取ip代理

    这里我们使用IP代理的用法--》https://www.cnblogs.com/KingOfCattle/p/12933282.html


  • 相关阅读:
    微信jssdk
    php读取大文件
    PHP工程师突破
    TCP/IP
    基于scrapy-redis的分布式爬虫
    pymongodb的使用和一个腾讯招聘爬取的案例
    中间件使用之(UA,IP,selenium)的使用
    windos下redis服务的后台启动
    mongodb的初步使用
    windos下安装mongodb
  • 原文地址:https://www.cnblogs.com/KingOfCattle/p/12941420.html
Copyright © 2011-2022 走看看