今天在研究Python爬虫机制,起初遇到一些坑,把我自己的经历写出来,分享大家,少踩坑
开始代码入错(错误代码),不过个人建议有些坑踩一踩还是有必要的,加深记忆
import urllib def run_demo(): f=urllib.urlopen('http://www.baidu.com') print(f.readline()) if __name__=='__main__': run_demo()
执行结果如下
Traceback (most recent call last):
File "D:/gamepython/pabug/__init__.py", line 9, in <module>
run_demo()
File "D:/gamepython/pabug/__init__.py", line 5, in run_demo
f=urllib.urlopen('http://www.baidu.com')
AttributeError: module 'urllib' has no attribute 'urlopen'
分析:红色的部分表示找不到,一般出现这样的问题有这么几种方式
① 没有引入对应的包,毕竟python的包多如屎
② 有人说是因为你的这个工程目录下可能有一个自己定义的文件与urllib重名,导致上述代码在引用时实际引用的是自定义的那个urllib,结果查找自己的项目文件夹下也没有重名的文件。
但是这个问题就是特别的奇怪,都是不属于上面的情况,在网上查了后原因如下
Python3.X中应该用urllib.request。更改后就不会再出现这个错误了
import urllib.request def run_demo(): f=urllib.request.urlopen('http://www.baidu.com') print(f.read()) if __name__=='__main__': run_demo()
显示结果如下
b'<!DOCTYPE html> <!--STATUS OK-->