pytho爬虫经常报错错误 Traceback (most recent call last) 错误信息

解读错误信息就可以定位错误。
Traceback (most recent call last):
这是错误的跟踪信息。

File "XXX.py", line 13, in <module>
f3('0')

调用f3()出错了，错误出现在文件XXX.py的第13行代码，错误来源第9行：

File “XXX.py”, line 12, in f3

return f2(s)+1

调用f2()出错了，错误出现在文件XXX.py的第12行代码，错误来源第8行：

== File “XXX.py”, line 8, in f2 ==

return f1(s)+1

调用f1()出错了，错误出现在文件XXX.py的第8行代码，错误来源第4行：

==File “XXX.py”, line 4, in f1 ==

return 1 / int(s)

return 1 / int(s)出错了，找到了错误的源头。

== ZeroDivisionError: division by zero==

这是错误类型。
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

原因

当用快速爬取某网站出现经常出现Traceback (most recent call last):的错误，也就是连接失败。原因首先是快速爬取连接时网络不稳定造成的。
一般解决方案：
加入判断函数

def getHTMLText(url):
    maxTryNum = 20
    for tries in range(maxTryNum):
        try:
            kv = {"user-agent": "Mizilla/5.0"}
            response = requests.get(url, headers=kv, timeout=10)
            return response.text
        except:
            if tries < (maxTryNum - 1):
                continue
            else:
                print("Has tried %d times to access url %s, all failed!" % (maxTryNum, url))
                break