zoukankan      html  css  js  c++  java
  • 代理服务

      在爬取网页的过程中,经常会出现不久前可以爬取的网页现在无法爬取了,这是因为您的IP被爬取网站的服务器所屏蔽了。此时代理服务可以为您解决这一麻烦,设置代理时,首先需要找到代理地址,例如“122.114.31.177”,对应的端口号为“808”,完整的格式为“122.114.31.177:808”,如下:

    import requests
    
    #设置代理IP与对应的端口号
    proxy={'http':'122.114.31.177:808','https':'122.114.31.177:808'}
    
    #
    response=requests.get('http://www.mingrisoft.com/',proxies=proxy)
    print(response.content)

      由于实例中代理IP是免费的,所以使用的时间不固定,超出使用的时间范围该地址将失效

  • 相关阅读:
    天生我材必有用?
    峨眉山徒步之行
    S3C6410 GPIO操作接口
    工作
    奖金
    吝啬的地主
    聪明的小李
    地铁重组
    灵魂分流药剂
    摆渡线路
  • 原文地址:https://www.cnblogs.com/start20180703/p/10442069.html
Copyright © 2011-2022 走看看