Selenium+PhantomJS的常用操作

Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器)。
PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器，它会把网站加载到内存并执行页面上的 JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器要高效。
下载PhantomJS：
wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2
解压并创建软连接:
tar -xvjf phantomjs-2.1.1-linux-x86_64.tar.bz2
sudo cp -R phantomjs-2.1.1-linux-x86_64 /usr/local/share/
sudo ln -sf /usr/local/share/phantomjs-2.1.1-linux-x86_64/bin/phantomjs /usr/local/bin/

Selenium 库里有个叫 WebDriver 的 API。WebDriver 有点儿像可以加载网站的浏览器，但是它也可以像 BeautifulSoup 或者其他 Selector 对象一样用来查找页面元素，与页面上的元素进行交互 (发送文本、点击等)，以及执行其他动作来运行网络爬虫。
演示代码:

from selenium import webdriver
import time
# 调用环境变量指定PhantomJS浏览器创建浏览器对象
driver = webdriver.PhantomJS()
# 如果没有在环境变量指定PhantomJS浏览位置
# driver = webdriver.PhantomJS(executable_path="/usr/local/bin/phantomjs")
# get方法会一直等到页面被加载完全，然后在继续程序，通常会让其等待2s
time.sleep(2)
driver.get("http://www.baidu.com")
# 获取页面名为wrapper的id标签文本内容
data = driver.find_element_by_id("wrapper").text
# 获取标题
print(driver.title)
# 生成当前页面快照并保存
driver.save_screenshot("baidu.png")
# id="kw"是百度输入框，输入字符串
driver.find_element_by_id("kw").send_keys("hello")
# id = "su"是百度搜索按钮，click()是模拟点击
driver.find_element_by_id("su").click()
# 获取薪的页面快照
driver.save_screenshot("hello.png")
# 获取网页渲染的源代码
print(driver.page_source)
# 获取当前页面的cookie
print(driver.get_cookies())

模拟键盘操作

from selenium.webdriver.common.keys import Keys
# Ctrl+A全选输入框内容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL, "a")
#Ctrl+X剪切输入框内容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL, "x")
# 输入框重新输入内容
driver.find_element_by_id("kw").send_keys("test")
# 模拟Enter回车键
driver.find_element_by_id("su").send_keys(Keys.RETURN)
# 清除输入框内容
driver.find_element_by_id("kw").clear()
# 生成新的页面快照
driver.save_screenshot("test.png")
# 获取当前url
print(driver.current_url)
# 关闭当前页面，如果只有一个页面，会关闭浏览器
driver.close()
# 关闭浏览器
driver.quit()

页面操作
Selenium 的 WebDriver提供了各种方法来寻找元素，假设下面有一个表单输入框：

# 获取id标签值
element = driver.find_element_by_id("passwd_id")
# 获取name标签值
name = driver.find_element_by_name("user-name")
# 获取标签名值
tag_name = driver.find_element_by_tag_name("input")
# 可以通过xpath来匹配
xpath_element = driver.find_element_by_xpath("//input[@id='passwd-id'")

定位UI元素
关于元素的选取，有如下的API 单个元素选取方式:
find_element_by_id
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector
代码如下:

from selenium.webdriver.common.by import By
# find_element_by_id
# <div id="ide">....</div>
i1 = driver.find_element_by_id("ide")
i2 = driver.find_element(by=By.ID, value="ide")

# find_elements_by_name
# <input name="ide2">...</div>
i3 = driver.find_element_by_name("ide2")
i4 = driver.find_element(by=By.NAME, value="ide2")

# find_elements_by_xpath
# <inpt type="text" name="ide3"/>
i5 = driver.find_element_by_xpath("//input")
i6 = driver.find_element(By.XPATH, "//input")

# find_elements_by_link_text
# <a href="http://www.baidu.com">Baidu</a>
i7 = driver.find_element_by_link_text("Baidu")
i8 = driver.find_element(By.LINK_TEXT, "Baidu")

# find_elements_by_partial_link_text
# <a href="http://www.baidu.com">Baidu</a>
i9 = driver.find_element_by_partial_link_text("Baidu")
i10 = driver.find_element(By.PARTIAL_LINK_TEXT, "Baidu")

# find_elements_by_tag_name
# <iframe src=""></iframe>
i11 = driver.find_element_by_tag_name("iframe")
i12 = driver.find_element(By.TAG_NAME, "iframe")

# find_elements_by_class_name
# <div class="ide4">...</div>
i13 = driver.find_element_by_class_name("ide4")
i14 = driver.find_element(By.CLASS_NAME, "ide4")

# find_elements_by_css_selector
# <div id="root"><span class="ide5">test1</span></div>
i15 = driver.find_element_by_css_selector("#root span.ide5")
i16 = driver.find_element(By.CSS_SELECTOR, "#root span.ide5")

鼠标动作链
有些时候，我们需要再页面上模拟一些鼠标操作，比如双击、右击、拖拽甚至按住不动等，我们可以通过导入 ActionChains 类来做到。
代码如下:

from selenium.webdriver import ActionChains

# 鼠标移动到ac位置
ac = driver.find_element_by_xpath("element")
ActionChains(driver).move_to_element(ac).perform()

# 在ac位置单击
ac = driver.find_element_by_xpath("elementA")
ActionChains(driver).move_to_element(ac).click(ac).perform()

# 在ac位置双击
ac = driver.find_element_by_xpath("elementB")
ActionChains(driver).move_to_element(ac).double_click(ac).perform()

# 在ac位置右击
ac = driver.find_element_by_xpath("elementC")
ActionChains(driver).move_to_element(ac).context_click(ac).perform()

# 在ac位置左键单击hold住
ac = driver.find_element_by_xpath("elementD")
ActionChains(driver).move_to_element(ac).click_and_hold(ac).perform()

# 将ac1拖曳到ac2的位置
ac1 = driver.find_element_by_xpath("elementE")
ac2 = driver.find_element_by_xpath("elementF")
ActionChains(driver).drag_and_drop(ac1, ac2).perform()

填充表单
我们已经知道了怎样向文本框中输入文字，但是有时候我们会碰到 标签的下拉框。直接点击下拉框中的选项不一定可行。


未审核
初审通过
复审通过
审核不通过


Selenium专门提供了Select类来处理下拉框。 其实 WebDriver 中提供了一个叫 Select 的方法，可以帮助我们完成这些事情：
代码如下:

from selenium.webdriver.support.ui import Select
select = Select(driver.find_element_by_name("status"))
# 1: index,从0开始
select.select_by_index(0)
# 2：value是option标签的一个属性值
select.select_by_value("0")
# 3：visible_text是在option标签文本的值
select.select_by_visible_text("未审核")
# 全部取消
select.deselect_all()

弹窗处理
当你触发了某个事件之后，页面出现了弹窗提示，处理这个提示或者获取提示信息方法如下：
alert = driver.switch_to_alert()

页面切换
一个浏览器肯定会有很多窗口，所以我们肯定要有方法来实现窗口的切换。切换窗口的方法如下：
driver.switch_to.window(“this is window name”)
也可以使用 window_handles 方法来获取每个窗口的操作对象。例如：
for handle in driver.window_handles:
driver.switch_to_window(handle)

页面前进和后退
操作页面的前进和后退功能：
driver.forward() #前进
driver.back() # 后退

Cookies
获取页面每个Cookies值，用法如下
for cookie in driver.get_cookies():
print “%s=%s;” % (cookie[‘name’], cookie[‘value’])
删除Cookies，用法如下
driver.delete_cookie(“BAIDUID”) # 通过名字进行删除
driver.delete_all_cookies() # 删除全部的cookie
页面等待
现在的网页越来越多采用了 Ajax 技术，这样程序便不能确定何时某个元素完全加载出来了。如果实际页面等待时间过长导致某个dom元素还没出来，但是你的代码直接使用了这个WebElement，那么就会抛出NullPointer的异常。

为了避免这种元素定位困难而且会提高产生 ElementNotVisibleException 的概率。所以 Selenium 提供了两种等待方式，一种是隐式等待，一种是显式等待。

隐式等待是等待特定的时间，显式等待是指定某一条件直到这个条件成立时继续执行。

显式等待
显式等待指定某个条件，然后设置最长等待时间。如果在这个时间还没有找到元素，那么便会抛出异常了。
代码如下:

from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
driver = webdriver.PhantomJS()
driver.get("http://www.baidu.com")
try:
    # 每隔10s查找页面元素
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "element"))
    )
finally:
    driver.quit()

如果不写参数，程序默认会 0.5s 调用一次来查看元素是否已经生成，如果本来元素就是存在的，那么会立即返回。

下面是一些内置的等待条件，你可以直接调用这些条件，而不用自己写某些等待条件了。

title_is
title_contains
presence_of_element_located
visibility_of_element_located
visibility_of
presence_of_all_elements_located
text_to_be_present_in_element
text_to_be_present_in_element_value
frame_to_be_available_and_switch_to_it
invisibility_of_element_located
element_to_be_clickable – it is Displayed and Enabled.
staleness_of
element_to_be_selected
element_located_to_be_selected
element_selection_state_to_be
element_located_selection_state_to_be
alert_is_present
隐式等待
隐式等待比较简单，就是简单地设置一个等待时间，单位为秒。
代码如下:

from selenium import webdriver
driver = webdriver.PhantomJS()
driver.implicitly_wait(10)   # 不设置，默认等待时间为0
driver.get("http://www.baidu.com")
myDynamicElement = driver.find_element_by_id("myDynamicelement")