zoukankan      html  css  js  c++  java
  • cookie的处理和代理池的建立


    1.cookie
    什么是cookie: cookie是服务端创建的数据(相当于一个身份卡片),用户给服务端发起请求时服务端会给这个用户返回这个卡片,然后保存在本地中,客户端再次访问服务端
    就可以带着这个卡片去访问,服务端就可以根据这个卡片找到用户的数据
    我们一般用cookie作免密码登入
    处理cookie的俩个方式:
    1.手动处理:将cookie写在headers中
    2.用Session对象自动处理:
    (1)什么时Session对象:它能让你跨请求保存某些参数。用这个实例发起的请求,它会请求保存之间的信息(包括cookie)
    (2)怎么使用Session对象:可以跟requests一样调用get/post进行请求的发送。在使用session进行请求发送的过程中,如果产生了cookie,则cookie会被自动存储到session对象中。
    所以最少要是有2次才能在爬虫中实现自动化处理他(第一次获取cookie,第二次使用cookie)
    使用一个案例来实现 ---->https://www.cnblogs.com/KingOfCattle/p/12930789.html

    2. 代理服务器的操作
    代理服务器就是用来转发请求和响应。可以让代理服务器转发请求从而更换请求的原始ip地址。
    代理的匿名度:
    透明:对方服务器知道你使用了代理也知道你的真实ip
    匿名:知道你使用了代理,但是不知道你的真是ip
    高匿:不知道你使用了代理,更不知道你的真是ip
    代理的类型
    http:只能代理http协议的请求
    https:代理https协议的请求

    怎么使用代理:
    1. 在http://http.zhiliandaili.cn中购买代理
    2.购买后生成白名单(自己的ip地址)
    3.生成ip地址
    4.然后根据生成的url中获取ip代理

    这里我们使用IP代理的用法--》https://www.cnblogs.com/KingOfCattle/p/12933282.html


  • 相关阅读:
    嵌套循环
    for循环
    while循环
    switch多选择结构
    python9--内存管理 引用计数 标记清除 分代回收
    python8--文件操作 with。。。open语法
    python7 数据类型的相互转化 字符编码
    python6-深浅拷贝 元组类型 字典类型 集合类型
    python5 数字类型 字符串类型 列表类型
    python4 分支结构,循环结构 for循环
  • 原文地址:https://www.cnblogs.com/KingOfCattle/p/12941420.html
Copyright © 2011-2022 走看看