Python编程-一个小爬虫工具的实现过程

需求描述：

1，打开网站；

2，获取网站的文件内容；

3，返回保存到文件中；

这里的就用到了多线程的方法

import requests,threading,time

def write_html(url,name):
    r = requests.get(url)
    with open(name,'w',encoding='utf-8') as fw:
        fw.write(r.text)
urls=['www.nnzhp.cn','besttest.cn','www.imdsx.cn','sb.nnzhp.cn','bbs.besttest.cn']
objs = []#存放每个线程
for url in urls:
    new_url = 'http://'+url
    file_name = url+'.html'  #www.nnzhp.cn.html
    t = threading.Thread(target=write_html,args=(new_url,file_name))  #实例化一个线程，target等于的是函数名称，args=入参，如果是一个参数的情况，必须参数名后跟一个逗号
    objs.append(t)
    t.start()#启动一个线程