常见的反爬手段和解决思路 1)明确反反爬的主要思路 反反爬的主要思路就是尽可能的去模拟浏览器,浏览器在如何操作,代码中就如何去实现;浏览器先请求了地址url1,保留了cookie在本地,之后请求地址url2,
带上了之前的cookie,代码中也可以这样去实现。很多时候,爬虫中携带的headers字段,cookie字段,url参数,post的参数很多,不清楚哪些有用,哪些没用的情况下,
只能够去尝试,因为每个网站都是不相同的;当然在盲目尝试之前,可以参考别人的思路,我们自己也应该有一套尝试的流程。 2)通过headers字段来反爬 1.通过headers中的User-Agent字段来反爬
import random def get_ua(): first_num = random.randint(55, 62) third_num = random.randint(0, 3200) fourth_num = random.randint(0, 140) os_type = [ '(Windows NT 6.1; WOW64)', '(Windows NT 10.0; WOW64)', '(X11; Linux x86_64)', '(Macintosh; Intel Mac OS X 10_12_6)' ] chrome_version = 'Chrome/{}.0.{}.{}'.format(first_num, third_num, fourth_num) ua = ' '.join(['Mozilla/5.0', random.choice(os_type), 'AppleWebKit/537.36', '(KHTML, like Gecko)', chrome_version, 'Safari/537.36'] ) return ua
2.通过referer字段或者是其他字段来反爬 3.通过cookie来反爬 如果目标网站不需要登录,每次请求带上前一次返回的cookie,比如requests模块的session, 如果目标网站需要登录要准备多个账号,通过一个程序获取账号对应的cookie,组成cookie池, 其他程序使用这些cookie 3)通过js来反爬 1.通过js实现跳转来反爬 在请求目标网站的时候,我们看到的似乎就请求了一个网站,然而实际上在成功请求目标网站之前, 中间可能有通过js实现的跳转,我们肉眼不可见,这个时候可以通过点击perserve log按钮实现观察页面跳转情况,在这些请求中,如果请求数量很多,一般来讲, 只有那些response中带cookie字段的请求是有用的,意味着通过这个请求,对方服务器有设置cookie到本地 2.通过js生成了请求参数 对应的需要分析js,观察加密的实现过程 4)通过验证码来反爬 通过打码平台或者是机器学习的方法识别验证码,其中打码平台廉价易用,更值得推荐, 常见的有云打码(数字和汉字)和极验科技(滑动和12306的那种) 5)通过ip地址来反爬 同一个ip大量请求了对方服务器,有更大的可能性会被识别为爬虫,对应的通过购买高质量的ip的方式 能够结局问题 6)其他的反爬方式 1.爬去猫眼电影电脑版 解决思路:切换到手机版 2.通过css来反爬 解决思路:计算css的偏移 selenium的使用 什么是selenium Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,Selenium 可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器),可以接收指令, 让浏览器自动加载页面,获取需要的数据,甚至页面截屏 Chromedriver的使用 Chromedriver 也是一个能够被selenium驱动的浏览器,有无界面和有界面之分
下载地址：https://npm.taobao.org/mirrors/chromedriver driver的安装
注意事项：
最简单的安装方式是：解压后把bin目录下的可执行文件移动到环境变量下， 比如/usr/bin 或者是/usr/local/bin下面
注意：Chromedriver和电脑上的chrome版本有对应关系，建议使用最新的Chromedriver版本并且更新chrome浏览器到最新版
selenium的入门使用 # 查看请求信息 driver.page_source driver.get_cookies() driver.current_url 基本案列使用
from selenium import webdriver import time # 选用Chrome浏览器,因为装驱动了 driver = webdriver.Chrome() # 窗口最大化 # driver.maximize_window() # 自己设置窗口的大小 # 获取百度界面 driver.get("http://www.baidu.com") # 在input标签中输入要搜索的内容 # driver.find_element_by_id("kw").send_keys("百度贴吧") driver.find_element_by_name("wd").send_keys("传智播客") # 点击元素 driver.find_element_by_id("su").click() # driver.find_element("su").click() # 获取当前网页的源码 # print(driver.page_source) # 获取当前的url print(driver.current_url) #获取cookie print(driver.get_cookies()) cookies = driver.get_cookies() print({i["name"]:i["value"] for i in cookies}) time.sleep(4) # 对请求的网页进行截屏 driver.save_screenshot("./baidu.png") # 关闭浏览器 # 退出浏览器 # driver.close() driver.quit()
import json import time from selenium import webdriver from selenium.webdriver.chrome.options import Options chrome_options = Options() chrome_options.add_argument('--headless') chrome_options.add_argument('--disable-gpu') class Douyu(object): def __init__(self): self.start_url = "https://www.douyu.com/directory/all" # 有界面的显示 # self.driver = webdriver.Chrome() # 无界面的显示 self.driver = webdriver.Chrome(chrome_options=chrome_options) # 实例化dirver self.max_page = 3 def get_content_list(self): li_list = self.driver.find_elements_by_xpath('.//ul[@class="layout-Cover-list"]/li') content_list = [] for li in li_list: items = {} items["title"] = li.find_elements_by_xpath('.//h3[@class="DyListCover-intro"]')[0].get_attribute("title") # 人气 items["Popularity"] = li.find_elements_by_xpath('.//span[@class="DyListCover-hot"]')[0].text items["anchor"] = li.find_elements_by_xpath('.//h2[@class="DyListCover-user"]')[0].text content_list.append(items) print(items) # 点击下一页 click_next_page = self.driver.find_elements_by_xpath('.//*[@id="listAll"]/section[2]/div[2]/div/ul/li[9]/span')[0] if len(self.driver.find_elements_by_xpath('//*[@id="listAll"]/section[2]/div[2]/div/ul/li[9]/span')) > 0 else None # click_next_page = self.driver.find_elements_by_xpath('.//li[@class="dy-Pagination-next"]/span')[0] if len(self.driver.find_elements_by_xpath('//li[@class="dy-Pagination-next"]/span')) > 0 else None return content_list,click_next_page def save_content(self,content_list): with open("html/斗鱼版.csv","a",encoding="utf-8") as file: file.write(json.dumps(content_list,ensure_ascii=False,indent=4)) file.write(" ") def run(self): # 构造url # 发起请求,获取响应(用selenium发起请求) self.driver.get(self.start_url) time.sleep(5) # 提取数据 content_list,click_next_page = self.get_content_list() # 保存数据 # print(click_next_page.text) self.save_content(content_list) page = 0 while click_next_page is not None: click_next_page.click() print(click_next_page.text) time.sleep(5) content_list, click_next_page = self.get_content_list() # 保存数据 self.save_content(content_list) page += 1 if page >= self.max_page: break self.driver.quit() if __name__ == '__main__': d = Douyu() d.run()
selenium的定位操作 知识点: 掌握定位元素的方法 掌握获取元素中数据的方法 定位元素语法: find_element_by_id (返回一个元素) find_elements_by_xpath (返回一个包含元素的列表) find_elements_by_link_text (根据连接文本获取元素列表) find_elements_by_partial_link_text (根据连接包含的文本获取元素列表) find_elements_by_tag_name (根据标签名获取元素列表) find_elements_by_class_name (根据类名获取元素列表) 获取数据语法 find_element仅仅能够获取元素,不能顾直接获取其中的数据,find_element_by_xapth也是这样 获取文本: element.text 获取属性值: element.get_attribute("href") selenium处理cookie get_cookies = """ _uab_collina=155324237696950140608396; sid=seo_aladingb; JSESSIONID=""; __g=seo_aladingb; Hm_lvt_194df3105ad7148dcf2b98a91b5e727a=1553242378; Hm_lpvt_194df3105ad7148dcf2b98a91b5e727a=1553242409; __c=1553242409; __l=r=https%3A%2F%2Fwww.zhipin.com%2Fjob_detail%2Fd4b73faff32071dc1nB72di1ElM~.html%3Fsid%3Dseo_aladingb&l=%2Fwww.zhipin.com%2Fjob_detail%2F37fa8c6951ab28b41HJz3dy9FVM~.html%3Fka%3Djob_sug_7&g=%2Fwww.zhipin.com%2Fjob_detail%2Fd4b73faff32071dc1nB72di1ElM~.html%3Fsid%3Dseo_aladi; __a=69913048.1553242301.1553242301.1553242409.2.2.1.2 """ # 把cookie转化为字典,使用字典推导式 {cookie["name"]: cookie["value"] for cookie in driver.get_cookies()} # 删除一条cookie driver.delete_cookie("CookieName") # 删除所有的cookie driver.delete_all_cookies() 一般需要页面等待 为什么需要等待 如果网站采用了动态html技术,那么页面上的部分元素出现时间便不能确定,这个时候 就可以设置一个等待时间,强制要求在时间内出现,否则报错页面等待的方法,time.sleep(10) 使用selenium切换frame frame是html中常用的一种技术,即一个页面中嵌套了另一个网页, selenium默认是访问不了frame中的内容的,对应的解决思路是 driver.switch_to.frame() 动手：模拟登陆qq邮箱 在使用selenium登录qq邮箱的过程中,我们会发现,无法在邮箱的登录input标签中输入内容, 通过观察源码可以发现,form表单在一个frame中,所以需要切换到frame中 selenium的优缺点 selenium能够执行页面上的js,对于js渲染的数据和模拟登陆处理起来非常容易 selenium由于在获取页面的过程中会发送很多请求,所以效率非常低,所以在很多时候需要酌情使用 打码平台的使用 常见的打码平台 云打码：http://www.yundama.com/ 能够解决通用的验证码识别 极验验证码智能识别辅助：http://jiyandoc.c2567.com/ 能够解决复杂验证码的识别 常见的验证码的种类 1)url地址不变,验证码不变 这是验证码里面非常简单的一种类型,对应的只需要获取验证码的地址,然后请求,通过打码平台识别即可 2)url地址不变,验证码变化 这种验证码的类型是更加常见的一种类型,对于这种验证码, 码和最后提交的验证码是同一个验证码，那这个手段是什么手段呢？ 很明显，就是通过cookie来实现的，所以对应的，在请求页面，请求验证码，提交验证码的到时候 需要保证cookie的一致性，对此可以使用requests.session来解决
Python爬虫代码正在处理中