一、简介
Selenium是一系列基于Web的自动化工具，提供一套测试函数，用于支持Web自动化测试。函数非常灵活，能够完成界面元素定位、窗口跳转、结果比较，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些JavaScript动态渲染的页面来说，此种抓取方式堆动态渲染的页面非常有效，但同时爬取的速度回相应的下降
-
1、多浏览器支持
可以对多浏览器进行测试，如IE、Firefox、Safari、Chrome、Android手机浏览器等。 -
2、支持多种开发语言
Java、C#、Python、Ruby、PHP等。 -
3、支持多种操作系统
Windows、Linux、IOS、Android等。
二、准备工作
本文使用python和Chrome为例进行演示，python需要安装selenium库，还需要下载ChromeDriver，版本号要和Chrome版本号一致，不一致会报错
-
Chrome下载地址
http://npm.taobao.org/mirrors/chromedriver/
-
pythoon下载selenium
pip install selenium
三、常用用法
- 1、声名浏览器对象
from selenium import webdriver
driver = webdriver.Chrome()
# 这样就完成了浏览器对象的初始化并将其赋值为driver对象。接下来，我们要做的就是调用driver对象，让其执行各个动作以模拟浏览器操作。
- 2、访问页面
# 我们可以用get()方法来请求网页，参数传入链接URL即可
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://www.baidu.com/')
# 打印网页源码
print(driver.page_source)
# 关闭浏览器对象
driver.close()
- 3、查找元素
常用方法
# 通过元素id获取元素
find_element_by_id
# 通过元素name获取元素
find_element_by_name
# 通过xpath获取元素
find_element_by_xpath
# 通过a标签的文本值获取元素
find_element_by_link_text
# 匹配a标签的文本值获取元素
find_element_by_partial_link_text
# 通过标签名字获取元素
find_element_by_tag_name
# 通过类名获取元素
find_element_by_class_name
# 通过css选择器获取元素
find_element_by_css_selector
例子：如获取百度的输入输入框
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://www.baidu.com/')
# 通过id获取输入框
driver.find_element_by_id('kw')
# 通过元素name获取输入框
driver.find_element_by_name('wd')
print(driver.page_source)
driver.close()
查找多元素和单元素的方法大致是一样的
find_elements_by_id
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector
- 4、元素交互
# Selenium可以驱动浏览器来执行一些操作，也就是说可以让浏览器模拟执行一些动作。
# 比较常见的用法有：输入文字时用send_keys()方法，清空文字时用clear()方法，点击按钮时用click()方法
from selenium import webdriver
import time
driver = webdriver.Chrome()
driver.get('https://www.baidu.com/')
input = driver.find_element_by_id('kw')
# 输入Python
input.send_keys('Python')
# 清空Python
input.clear()
time.sleep(1)
input.send_keys('Python')
# 点击“百度一下”按钮
driver.find_element_by_id('su').click()
print(driver.page_source)
driver.close()
- 5、执行JavaScript
# 对于某些操作，Selenium API并没有提供。比如，下拉进度条，它可以直接模拟运行JavaScript，
# 此时使用execute_script()方法即可实现
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://www.baidu.com/')
# 下拉到最底部
driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
print(driver.page_source)
driver.close()
- 6、获取元素信息
# 我们可以使用get_attribute()方法来获取节点的属性，但是其前提是先选中这个节点
from selenium import webdriver
import time
driver = webdriver.Chrome()
driver.get('https://www.baidu.com/')
input = driver.find_element_by_id('kw')
# 获取元素的name属性
print(input.get_attribute('name'))
# 获取元素的id值
print(input.id)
# 获取元素的页面位置
print(input.location)
# 获取元素标签名字
print(input.tag_name)
# 获取元素的大小
print(input.size)
driver.close()
- 8、获取元素文本值
from selenium import webdriver
import time
driver = webdriver.Chrome()
driver.get('https://www.baidu.com/')
button = driver.find_element_by_id('su')
# 获取元素文本值
print(button.text)
print(driver.page_source)
driver.close()
- 9、切换Franme
# 网页中有一种元素叫作iframe，也就是子Frame，相当于页面的子页面，它的结构和外部网页的结构完全一致。
# Selenium打开页面后，它默认是在父级Frame里面操作，而此时如果页面中还有子Frame，它是不能获取到子Frame里面的节点的。
# 这时就需要使用switch_to.frame()方法来切换Frame
- 10、延时等待
# 在Selenium中，get()方法会在网页框架加载结束后结束执行，此时如果获取page_source，可能并不是浏览器完全加载完成的页面，
# 如果某些页面有额外的Ajax请求，我们在网页源代码中也不一定能成功获取到。所以，这里需要延时等待一定时间，确保节点已经加载出来。
# 这里等待的方式有两种：一种是隐式等待，一种是显式等待。
# 隐式等待
# 当使用隐式等待执行测试的时候，如果Selenium没有在DOM中找到节点，将继续等待，超出设定时间后，则抛出找不到节点的异常。
# 换句话说，当查找节点而节点并没有立即出现的时候，隐式等待将等待一段时间再查找DOM，默认的时间是0。
from selenium import webdriver
import time
driver = webdriver.Chrome()
# 用implicitly_wait()方法实现了隐式等待。
driver.implicitly_wait(10)
driver.get('https://www.baidu.com/')
input = driver.find_element_by_id('kw')
driver.close()
# 显式等待
# 隐式等待的效果其实并没有那么好，因为我们只规定了一个固定时间，而页面的加载时间会受到网络条件的影响。
# 这里还有一种更合适的显式等待方法，它指定要查找的节点，然后指定一个最长等待时间。
# 如果在规定时间内加载出来了这个节点，就返回查找的节点；如果到了规定时间依然没有加载出该节点，则抛出超时异常。
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
driver = webdriver.Chrome()
driver.get('https://www.baidu.com/')
# 这里首先引入WebDriverWait这个对象，指定最长等待时间
wait = WebDriverWait(browser, 10)
# 用它的until()方法，传入要等待条件expected_conditions。
input = wait.until(EC.presence_of_element_located((By.ID, 'kw')))
driver.close()
- 11、前进和后退
# 平常使用浏览器时都有前进和后退功能，Selenium也可以完成这个操作，它使用back()方法后退，使用forward()方法前进。
from selenium import webdriver
import time
driver = webdriver.Chrome()
driver.get('https://www.baidu.com/')
driver.get('https://www.zhihu.com/')
driver.get('https://www.douban.com/')
# 后退
browser.back()
time.sleep(1)
# 前进
browser.forward()
browser.close()
- 12、cookies
# 使用Selenium，还可以方便地对Cookies进行操作，例如获取、添加、删除Cookies等。
from selenium import webdriver
import time
driver = webdriver.Chrome()
driver.get('https://www.baidu.com/')
# 获取cookies
print(driver.get_cookies())
# 添加cookie
browser.add_cookie({'name': 'name', 'domain': 'www.baidu.com', 'value': 'hziwei'})
print(browser.get_cookies())
# 删除cookies
browser.delete_all_cookies()
print(browser.get_cookies())