zoukankan      html  css  js  c++  java
  • python爬虫的进阶用法

    应用场景:

    01:

    去爬虫微信公众号文章,已知requests的执行方式实际就是执行里面request方法,
    我们进行重写request方法的init,加入我们需要的字段:

    如  callback --获取response执行回调函数     need_proxy --是否需要代理

       fail_time --执行get获取url的失败次数   timeout = 10 

    from requests import Request
    TIMEOUT = 10
    class WeixinRequest(Request):
        def __init__(self,url,callback,method='GET',headers=None,need_proxy=False,fail_time=0,timeout=TIMEOUT):
            Request.__init__(self,method,url,headers)
            self.callback =callback
            self.need_proxy = need_proxy
            self.fail_time = fail_time
            self.timeout = timeout
    
  • 相关阅读:
    网络编程
    Python之异常处理
    python第31天作业(面向对象高级)
    day01_计算机的基础介绍
    第一章/第二章课后习题
    day12
    day11
    day09-10
    day08
    day07
  • 原文地址:https://www.cnblogs.com/hero799/p/12652071.html
Copyright © 2011-2022 走看看