爬取快代理

import requests
from lxml import etree

url = 'https://www.kuaidaili.com/free/'
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36',}

response = requests.get(url=url,headers=headers)
if response.status_code == 200:
    # with open('ip.html','wb') as f:
    #     for i in response.iter_lines():
    #         f.write(i)

    html = etree.HTML(response.text)
    ips = html.xpath('//*[@id="list"]/table/tbody//tr/td[@data-title="IP"]/text()')
    ports = html.xpath('//*[@id="list"]/table/tbody//tr/td[@data-title="PORT"]/text()')
    i = 0
    for ip in ips:
        port = ports[i]
        daili = ip+':'+port
        url = 'https://www.baidu.com'
        res = requests.get(url=url,headers=headers,proxies={
            'socks5':daili,
        },timeout=3)
        # print('test %s status_code = %s' % (ip+':'+port,res.status_code))
        if res.status_code == 200:
            print('经过测试，代理服务器IP及端口{daili}，可以使用'.format(daili=daili))
        i+=1



#

经过测试，代理服务器IP及端口182.34.35.41:9999，可以使用
经过测试，代理服务器IP及端口180.160.54.27:8118，可以使用
经过测试，代理服务器IP及端口223.199.27.18:9999，可以使用
经过测试，代理服务器IP及端口36.250.156.246:9999，可以使用
经过测试，代理服务器IP及端口223.199.24.28:9999，可以使用
经过测试，代理服务器IP及端口183.166.125.99:9999，可以使用
经过测试，代理服务器IP及端口1.197.11.14:9999，可以使用
经过测试，代理服务器IP及端口114.99.4.114:9999，可以使用
经过测试，代理服务器IP及端口47.107.38.138:8000，可以使用
经过测试，代理服务器IP及端口60.2.44.182:47293，可以使用
经过测试，代理服务器IP及端口171.13.200.105:9999，可以使用
经过测试，代理服务器IP及端口163.204.244.181:9999，可以使用
经过测试，代理服务器IP及端口115.211.226.214:9999，可以使用
经过测试，代理服务器IP及端口123.163.27.15:9999，可以使用
经过测试，代理服务器IP及端口60.13.42.123:9999，可以使用