zoukankan      html  css  js  c++  java
  • python 使用urllib.urlopen超时问题的解决方法

    准备写一个python脚本抓取网页数据,前面抓了几个都没有什么问题,但总会抓取不完整,在中间过程中没有反应,发现执行urlopen的地方总是提示超时,百度了一下,因为我使用的是urllib不是urllib2,所以无法直接在urlopen里面加timeout参数,只能是设置全局脚本的超时时间

    首先:
    import socket

    然后:
    socket.setdefaulttimeout(60)

    设置全局的超时时间为60s。

    之后再执行脚本的时候就没有什么大问题了。

    当然,如果是urllib2就更简单,而且现实中,urllib,urllib2常会一起使用(两者分别提供不同的功能)

    html = urllib.urlopen(url).read()
    修改为
    import urllib2
    html = urllib2.urlopen(url, timeout=60).read()

  • 相关阅读:
    test
    4css
    3css
    2css
    5html
    1css
    4html
    3html
    2html
    1.3 tensorflow2.0 常用函数
  • 原文地址:https://www.cnblogs.com/whaben/p/6437742.html
Copyright © 2011-2022 走看看