爬虫代理
相关网站
-快代理
-西祠代理
www.goubanjia.com
请求协议
http https注意请求的url是使用哪一种请求协议的
代理ip的匿名度
-透明：服务器知道该次请求使用了代理，也知道请求对应的真实ip
-匿名：知道使用了代理，不知道真实的ip
-高匿：不知道是代理，和真实的ip
import requests
from lxml import etree
headers={
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
}
url='https://www.baidu.com/s?wd=ip'
proxies={
"https":'111.231.93.66:8888'
}
res=requests.get(url=url,headers=headers,proxies=proxies).text
tree=etree.HTML(res)
my_ip=tree.xpath('//span[@class="c-gap-right"]/text()')
print(my_ip)