十四、Selenium入门

1、Selenium

　　Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的,可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。

　　Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。

　　Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。但是有时候需要让它内嵌在代码中运行，可以用一个叫 PhantomJS 的工具代替真实的浏览器。

　　安装：`pip install selenium`

　　selenium官方文档：https://selenium-python.readthedocs.io/index.html

2、PhantomJS

　　PhantomJs是一个基于webkit的"无界面"（headless）浏览器，它会把网站加载到内存并执行页面上的javascript，因为不会展示图形界面，所以运行起来比完整的浏览器要高效。

　　把Selenium和PhantomJS结合在一起，就可以运行一个非常强大的网络爬虫了，这个爬虫可以处理JavaScrip、Cookie、headers，以及任何我们真实用户需要做的事情。

　　安装：`sudo apt-get install phantomjs`

　　PhantomJS官方文档：https://phantomjs.org/documentation/

　　不过现在最新版的selenium不再支持了，可以选择Chrome。

3、快速入门

　　selenium库里有个叫webdriver的API，webdriver类似于可以加载网站的浏览器，它类似BeautifulSoup或其他Selector对象，用来查找页面元素，与页面上的元素进行交互（发送文本，点击等），以及执行其他动作来运运行网络爬虫。

　　（1）获取id标签的文本内容：driver.find_element_by_id("id_name").text

　　（2）获取标题：driver.title

　　（3）生成当前页面快照并保存：driver.save_screenshot("filename.png")

　　（4）id="kw"用来定位输入框，输入字符串：driver.find_element_by_id("kw").send_keys("爬虫")

　　（5）id="su"用来定位搜索按钮，click()是模拟点击：driver.find_element_by_id("su").click()

　　（6）获取网页渲染后的源代码：driver.page_source

　　（7）获取当前页面Cookie：driver.get_cookies()

　　（8）ctrl+a全选定位部分内容：driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'a')

　　（9）ctrl+x剪切定位部分内容：driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'x')

　　（10）模拟enter回车键：driver.find_element_by_id("su").send_keys(Keys.RETURN)

　　（11）清楚选定部分的内容：driver.find_element_by_id("kw").clear()

　　（12）获取当前url：driver.current_url

　　（13）关闭当前页面，如果只有一个页面，会关闭浏览器：driver.close()

　　（14）关闭浏览器：driver.quit()

# 导入webdriver
from selenium import webdriver
# 调用键盘按钮操作时需要引入的keys包
from selenium.webdriver.common.keys import Keys

import time

# 调用环境变量指定的PhantomJS浏览器创建浏览器对象
driver = webdriver.Chrome()

# 如果没有在环境变量指定chromedriver位置，则需要引用可执行文件
#driver = webdriver.Chrome(executable_path="/usr/bin/chromedriver")

# get方法会一直等到页面被完全加载，然后才会继续程序，通常测试会选择time.sleep(2)
driver.get("https://www.baidu.com")

# 获取页面中 为head_wrapper的id标签的文本内容
# data = driver.find_element_by_id("head_wrapper").text
# 打印获取到的数据
# print(data)
"""
百度热榜
�换一换
1同一个世界同一个妈
4直播：相信未来义演再开唱
2奥巴马批评特朗普疫情应对
5强基计划直播
3吉林一女洗衣工确诊后再传11人
6今天，最想对妈妈说的话
"""

# 打印页面标题
# print(driver.title)
# 百度一下，你就知道

#　生成当前页面快照并保存
#driver.save_screenshot('baidu.png')


# # id="kw"是百度搜索输入框，输入字符串“爬虫”
# driver.find_element_by_id("kw").send_keys("爬虫")

# # id="su"是百度搜索按钮，click是模拟点击
# driver.find_element_by_id("su").click()

# # 延时2s,保证获取到实际的内容
# time.sleep(2)
# # 获取新页面的快照
# driver.save_screenshot("爬虫.png")


# 打印网页渲染后的源代码
# print(driver.page_source)


# 获取当前页面cookie
# print(driver.get_cookies())


# # 输入框重新输入内容
driver.find_element_by_id("kw").send_keys("python")
# driver.find_element_by_id("su").click()

# ctrl+a全选输入框内容
# driver.find_element_by_id('kw').send_keys(Keys.CONTROL, "a")
# ctrl+x剪切输入框内容
# driver.find_element_by_id("kw").send_keys(Keys.CONTROL, "x")

# 模拟enter回车键
driver.find_element_by_id("su").send_keys(Keys.RETURN)

# 清空输入款内容
# driver.find_element_by_id('kw').clear()

# 获取当前url
print(driver.current_url)
"""
https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=python&fenlei=256&rsv_pq=f56af1be000010cf&rsv_t=682eH4uSAFnDdURF0mggnYJfY6t28dxq2Irnjwx%2F4vQhRZrNLQQ1UnwAVVo&rqlang=cn&rsv_enter=1&rsv_dl=tb&rsv_sug3=6&rsv_btype=i&inputT=132&rsv_sug4=132
"""

# 关闭当前页面,如果只有一个页面，会关闭浏览器
time.sleep(3)
driver.close()

# 关闭浏览器
# driver.quit()

4、页面操作

　　selenium的webdriver提供了各种方法来寻找元素

　　假设有一个表单输入框：

<input type="text" name="user-name" id="passwd-id" />

　　那么通过find_element_by_*等方法可以找到元素：

# 获取id标签值
element = driver.find_element_by_id("passwd-id")

# 获取name标签值
element = driver.find_element_by_name("user-name")

# 获取标签名值
element = driver.find_element_by_tag_name("input")

# 通过XPath来匹配
element = driver.find_element_by_xpath("//input[@id='passwd-id']")

5、定位UI元素（WebElements）

　　5.1 关于元素的选取，有如下的API单个元素选取：

　　　　`find_elements_by_id`

　　　　`find_elements_by_name`

　　　　`find_elements_by_xpath`

　　　　`find_elements_by_link_text`

　　　　`find_elements_by_partial_link_text`

　　　　`find_elements_by_tag_name`

　　　　`find_elements_by_class_name`

　　　　`find_elements_by_css_selector`

　　5.2 selenium.webdriver.common.by下有一个By，可以结合find_element()一起使用

　　　　导入By`from selenium.webdriver.common.by import By`

　　　　（1）By ID

<div id = "cool" > ... < /div >

element = driver.find_element_by_id("cool")
------------------------ or -------------------------
element = driver.find_element(by=By.ID,value="cool")

　　　　（2）By Class Name

<div class = "cheese" > <span > Cheddar < /span > </div >
<div class = "cheese" > <span > Gouda < /span > </div >

element = driver.find_elements_by_class_name("cool")
------------------------ or -------------------------
element = driver.find_elements(by=By.CLASS_NAME,value="cheese")

　　　　（3）By Link Text　　　

<a href = "http://www.google.com/search?q=cheese" > cheese < /a >

element = driver.find_elements_by_link_text("cool")
------------------------ or -------------------------
element = driver.find_elements(by=By.LINK_TEXT,value="cheese")

　　　　（4）By Partial Link Text

<a href = "http://www.google.com/search?q=cheese" >search for  cheese < /a >

element = driver.find_elements_by_partial_link_text("cool")
------------------------ or -------------------------
element = driver.find_elements(by=By.PARTIAL_LINK_TEXT,value="cheese")

　　　　（5）By CSS

<div id = "food" > <span class = "dairy" > milk < /span > <span class = "dairy aged" > cheese < /span > </div >

element = driver.find_elements_by_css_selector("#food span.dairy.aged")
------------------------ or -------------------------
element = driver.find_elements(by=By.CSS_SELECTOR, "#food span.dairy.aged")

　　　　（6）By XPath

<input type = "text" name = "example" / >
<INPUT type = "text" name = "other" / >

element = driver.find_elements_by_xpath("//input")
------------------------ or -------------------------
element = driver.find_elements(by=By.XPATH, "//input")　　　　　　

　　　　（7）By Tag Name

<iframe src = "..." > </iframe >

element = driver.find_elements_by_tag_name("iframe")
------------------------ or -------------------------
element = driver.find_elements(by=By.TAG_NAME, "iframe")

　　　　（8）By Name

<input name = "cheese" type = "text"/>

element = driver.find_elements_by_name("cheese")
------------------------ or -------------------------
element = driver.find_elements(by=By.NAME, "cheese")

6、鼠标动作链

　　通过导入ActionChains类，来实现在页面上模拟一些鼠标操作，比如双击、右击、拖拽或者按住不动等。

# 导入webdriver
from selenium import webdriver
# 调用键盘按钮操作时需要引入的keys包
from selenium.webdriver.common.keys import Keys
# 导入ActionChains类
from selenium.webdriver import ActionChains
import time

driver = webdriver.Chrome()
driver.get("https://www.baidu.com")

# 鼠标移动到"新闻",`ac`定义了元素的位置
ac = driver.find_element_by_xpath("//div[@id='s-top-left']/a[1]")
ActionChains(driver).move_to_element(ac).perform()
time.sleep(2)
# 鼠标移动到”hao123“
ac = driver.find_element_by_xpath("//div[@id='s-top-left']/a[2]")
ActionChains(driver).move_to_element(ac).perform()


# 在ac位置单击
# ac = driver.find_element_by_xpath("//div[@id='s-top-left']/a[1]")
# ActionChains(driver).move_to_element(ac).click(ac).perform()

# 在ac位置双击
# ac = driver.find_element_by_xpath("//div[@id='s-top-left']/a[1]")
# ActionChains(driver).move_to_element(ac).double_click(ac).perform()
# 因为同时在这个地方双击，所以会弹出两个相同的窗口

# 在ac位置右击
# ac = driver.find_element_by_xpath("//div[@id='s-top-left']/a[1]")
# ActionChains(driver).move_to_element(ac).context_click(ac).perform()

# 在ac位置左键单击hold住
# ac = driver.find_element_by_xpath("//div[@id='s-top-left']/a[1]")
# ActionChains(driver).move_to_element(ac).click_and_hold(ac).perform()

# 将ac1拖拽到ac2位置
ac1 = driver.find_element_by_xpath("//div[@id='s-top-left']/a[1]")
ac2 = driver.find_element_by_xpath("//div[@id='s-top-left']/a[2]")
ActionChains(driver).drag_and_drop(ac1,ac2).perform()

7、SELECT表单

　　碰到<select></select>标签的下拉框，直接点击下拉框中的选项不一定可行。

　　Selenium专门提供了Select类来处理下拉框，

# 导入webdriver
from selenium import webdriver
from selenium.webdriver.support.ui import Select
import time

driver = webdriver.Chrome()
driver.get("http://course.hbpu.edu.cn/G2S/ShowSystem/Index.aspx")

# 找到class的选项卡
"""
<select class="left search" onchange="searchChange(this)" style="margin-top:2px;">
    <option value="OrganiseSearch.aspx">组织结构</option>
    <option value="SpecialtySearch.aspx">专业</option>
    <option value="TeacherSearch.aspx">教师</option>
    <option value="CourseSearch.aspx">课程</option>
    <option value="WebsiteSearch.aspx">课程网站</option>
</select>
"""
# 定位后构造选择器
select_ = Select(driver.find_element_by_xpath("//select"))

# 操作select_来选择，可以通过index,value,visible_text
select_.select_by_index(2)
time.sleep(2)
select_.select_by_value("SpecialtySearch.aspx")
time.sleep(2)
select_.select_by_visible_text("课程")
# 状态是”教师“>>>"专业>>>”课程“

　　以上是三种选择下拉框的方式，它可以根据索引来选择，可以根据值来选择，可以根据文字来选择。

　　说明：（1）index索引从0开始

　　　　　（2）value是option标签的一个属性值，并不是显示在下拉框中的值

　　　　　（3）visible_text是在option标签文本中的值，是显示在下拉框的值

　　如果全部取消选择：`select.deselect_all()`

8、弹窗处理

　　当触发了某个事件之后，页面出现了弹窗提示，处理这个提示或者获取提示信息的方法：

　　`alert = driver.switch_to_alert()`

9、页面切换

　　切换浏览器个页面窗口的方法：`driver.switch_to.window("this is window name")`

　　使用window_handles方法来获取每个窗口的操作对象：

　　```

　　for    handle    in    driver.window_handles:

　　　　driver.switch_to_window(handle)

　　```

10、页面前进或后退

　　操作页面的前进和后退功能：

　　```

　　driver.forward()　　#前进

　　driver.back()　　#后退

　　```

11、Cookies

　　获取页面每个Cookies值，用法如下：

　　```

　　for    cookie    in    driver.get_cookies():

　　　　print("{} -> {}".format(cookie['name'],cookie['value']))

　　```

　　删除Cookies，用法如下：

　　```

　　# 通过name

　　driver.delete_cookie("CookieName")

　　# 删除所有

　　driver.delete_all_cookies()

　　```

12、页面等待

　　现在的网页越来越多采用了 Ajax 技术，这样程序便不能确定何时某个元素完全加载出来了。如果实际页面等待时间过长导致某个dom元素还没出来，但是你的代码直接使用了这个WebElement，那么就会抛出NullPointer的异常。

　　为了避免这种元素定位困难而且会提高产生 ElementNotVisibleException 的概率。所以 Selenium 提供了两种等待方式，一种是隐式等待，一种是显式等待。

　　隐式等待是等待特定的时间，显式等待是指定某一条件直到这个条件成立时继续执行

　　12.1 显式等待

　　　　显式等待指定某个条件，然后设置最长等待时间，如果在这个时间还没有找到元素，那么便会抛出异常。

from selenium import webdriver
from selenium.webdriver.common.by import By
# 导入WebDriverWait库，负责循环等待
from selenium.webdriver.support.ui import WebDriverWait
# 导入expected_conditions类，负责条件触发
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("http://www.baidu.com")
try:
    # 页面一致循环，直到id="myDynamicElement"出现
    element=WebDriverWait(driver,10).until(
        EC.presence_of_element_located((By.ID,"myDynamicElement"))
    )
finally:
    driver.quit()

　　　　如果不写参数，程序默认会0.5s调用一次来查看元素是否已经生成，如果本来元素就是存在，那么会立即返回。

　　　　expected_conditions中内置的等待条件，可以直接调用这些条件，而不用自己写某些等待条件：

　　　　`title_is`

　　　　`title_contains`

　　　　`persence_of_element_located`

　　　　`visibility_of_element_located`

　　　　`visibility_of`

　　　　`presence_of_all_elements_located`

　　　　`text_to_be_present_in_element`

　　　　`text_to_be_present_in_element_value`

　　　　`frame_to_be_available_and_switch_to_it`

　　　　`invisibility_of_element_located`

　　　　`element_to_be_clickable-it is Displayed and Enabled`

　　　　`staleness_of`

　　　　`element_to_be_selected`

　　　　`element_located_to_be_selected`

　　　　`element_selection_state_to_be`

　　　　`element_location_selection_state_to_be`

　　　　`alert_is_present`

　　12.2 隐式等待

　　　　隐式等待比较简单，就是简单地设置一个等待时间，单位为秒。

from selenium import webdriver

driver = webdriver.Chrome()
driver.implicitly_wait(10) #等待10s
driver.get('http://www.baidu.com')
myDynamicElement = driver.find_element_by_id("myDynamicElement")

　　　　如果不设置，则默认等待时间为0。