zoukankan      html  css  js  c++  java
  • 爬虫——Selenium与PhantomJS

    Selenium

    Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同的是Selenium可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器)。

    Selenium可以根据我们的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生。

    Selenium自己不带浏览器,不支持浏览器的功能,它需要与第三方浏览器结合在一起才能使用。但是我们大多数时候需要让它内嵌在代码中运行,所以我们可以用一个叫PhantomJS的工具代替真实的浏览器。

    可以从 PyPI 网站下载 Selenium库https://pypi.python.org/simple/selenium ,也可以用 第三方管理器 pip用命令安装:pip install selenium

    Selenium 官方参考文档:http://selenium-python.readthedocs.io/index.html

    PhantomJS

    PhantomJS是一个基于Webkit的“无界面”(headless)浏览器,它会把网站加载到内存并执行页面上的JavaScript,因为不会展示图形界面,所以运行起来比完整的浏览器要高效。

    如果我们把Selenium和PhantomJS结合在一起,就可以运行一个非常强大的网络爬虫了,这个爬虫可以处理JavaScript、Cookie、headers,以及任何我们真实用户需要做的事情。

    注意:PhantomJS 只能从它的官方网站http://phantomjs.org/download.html 下载。 因为 PhantomJS 是一个功能完善(虽然无界面)的浏览器而非一个 Python 库,所以它不需要像 Python 的其他库一样安装,但我们可以通过Selenium调用PhantomJS来直接使用。

    PhantomJS 官方参考文档:http://phantomjs.org/documentation

    快速入门

    Selenium库里有个叫WebDriver的API。WebDriver有点儿像可以加载网站的浏览器,但是它可以像BeautifulSoup或者其他Selector对象一样用来查找页面元素,与页面上的元素进行交互(发送文本、点击等),以及执行其他动作来运行网络爬虫。

    #!/usr/bin/python3
    # -*- coding:utf-8 -*-
    __author__ = 'mayi'
    
    # 导入webdriver
    from selenium import webdriver
    from selenium.webdriver.common.keys import Keys
    import time
    
    # 调用环境变量指定的PhantomJS浏览器创建浏览器对象,executable_path:指定PhantomJS位置
    driver = webdriver.PhantomJS(executable_path = r"D:Program Filesphantomjsinphantomjs")
    
    # get()方法会一直等到页面被完全加载,然后才会继续程序
    driver.get("http://www.baidu.com/")
    
    # 获取页面名为wrapper的id标签的文本内容
    data = driver.find_element_by_id("wrapper").text
    
    # 打印获取的文本内容
    print(data)
    
    # 打印页面标题:百度一下,你就知道
    print(driver.title)
    
    # 生成当前页面快照并保存
    driver.save_screenshot("baidu.jpg")
    
    # 在百度搜索输入框中输入“蚂蚁”
    driver.find_element_by_id("kw").send_keys("蚂蚁")
    
    # 模拟点击“百度一下”按钮
    driver.find_element_by_id("su").click()
    # 等待2秒,让页面加载
    time.sleep(2)
    
    # 获取搜索后的页面快照
    driver.save_screenshot("蚂蚁.jpg")
    
    # 打印网页渲染后的源代码
    # print(driver.page_source)
    
    # 获取当前页面Cookie
    print(driver.get_cookies())
    
    # Ctrl + a 全选输入框内容
    driver.find_element_by_id("kw").send_keys(Keys.CONTROL, "a")
    
    # Ctrl + x 剪切输入框内容
    driver.find_element_by_id("kw").send_keys(Keys.CONTROL, "x")
    
    # 输入框重新输入内容
    driver.find_element_by_id("kw").send_keys("python")
    
    # 模拟Enter回车键
    driver.find_element_by_id("su").send_keys(Keys.ENTER)
    
    # 等待2秒,让页面加载
    time.sleep(2)
    
    # 清除输入框内容
    driver.find_element_by_id("kw").clear()
    
    # 获取新的快照
    driver.save_screenshot("python.jpg")
    
    # 获取当前url
    print(driver.current_url)
    
    # 关闭当前页面,如果只有一个页面,会关闭浏览器
    driver.close()
    
    # 关闭浏览器
    driver.quit()
    

    页面操作

    Selenium的WebDriver提供了各种方法来寻找元素,假设下面有一个表单输入框:

    <input type="text" name="user-name" id="passwd-id" />
    

    那么

    # 获取id标签值
    element = driver.find_element_by_id("passwd-id")
    
    # 获取name标签值
    element = driver.find_element_by_name("user-name")
    
    # 获取标签名值
    element = driver.find_element_by_tag_name("input")
    
    # 通过xpath来匹配
    element = driver.find_element_by_xpath("//input[@id='passwd-id']")
    

    定位UI元素(webElements)

    关于元素的选取:

    find_element_by_id
    find_elements_by_name
    find_elements_by_xpath
    find_elements_by_link_text
    find_elements_by_partial_link_text
    find_elements_by_tag_name
    find_elements_by_class_name
    find_elements_by_css_selector
    

    1.by id

    # 页面内容
    <div id="coolestWidgetEvah">...</div>
    
    # 实现
    element = driver.find_element_by_id(coolestWidgetEvah")
    

    2.by name

    # 页面内容
    <input name="cheese" type="text"/>
    
    # 实现
    element = driver.find_element_by_name("cheese")
    

    3.by xpath

    # 页面内容
    <input type="text" name="example" />
    <input type="text" name="other" />
    
    # 实现
    element = driver.find_elements_by_xpath("//input")
    

    4.by link text

    # 页面内容
    <a href="http://www.google.com/search?q=cheese">cheese</a>
    
    # 实现
    element = driver.find_element_by_link_text("cheese")
    

    5.by partial link text

    # 页面内容
    <a href="http://www.google.com/search?q=cheese">search for cheese</a>>
    
    # 实现
    element = driver.find_element_by_partial_link_text("cheese")
    

    6.by tag name

    # 页面内容
    <iframe src="..."></iframe>
    
    # 实现
    element = driver.find_element_by_tag_name("iframe")
    

    7.by class name

    # 页面内容
    <div id="food"><span class="dairy">milk</span><span class="dairy aged">cheese</span></div>
    
    # 实现
    element = driver.find_elements_by_class_name("div")
    

    8.by css selector

    # 页面内容
    <div id="food"><span class="dairy">milk</span><span class="dairy aged">cheese</span></div>
    
    # 实现
    element = driver.find_elements_by_css_selector("#food span.dairy.aged")
    

    鼠标动作链

    有些时候,我们需要在页面上模拟一些鼠标操作,比如双击、右击、拖拽甚至按住不动等,我们可以通过导入ActionChains类来做到:

    #导入 ActionChains 类
    from selenium.webdriver import ActionChains
    
    # 鼠标移动到 ac 位置
    ac = driver.find_element_by_xpath('element')
    ActionChains(driver).move_to_element(ac).perform()
    
    
    # 在 ac 位置单击
    ac = driver.find_element_by_xpath("elementA")
    ActionChains(driver).move_to_element(ac).click(ac).perform()
    
    # 在 ac 位置双击
    ac = driver.find_element_by_xpath("elementB")
    ActionChains(driver).move_to_element(ac).double_click(ac).perform()
    
    # 在 ac 位置右击
    ac = driver.find_element_by_xpath("elementC")
    ActionChains(driver).move_to_element(ac).context_click(ac).perform()
    
    # 在 ac 位置左键单击hold住
    ac = driver.find_element_by_xpath('elementF')
    ActionChains(driver).move_to_element(ac).click_and_hold(ac).perform()
    
    # 将 ac1 拖拽到 ac2 位置
    ac1 = driver.find_element_by_xpath('elementD')
    ac2 = driver.find_element_by_xpath('elementE')
    ActionChains(driver).drag_and_drop(ac1, ac2).perform()
    

    填充表单

    我们已经知道了怎样向文本框中输入文字,但是有时候我们会遇到select 标签的下拉框。直接点击下拉框中的选项不一定可行。

    <select id="status" class="form-control valid" onchange="" name="status">
        <option value=""></option>
        <option value="0">未审核</option>
        <option value="1">初审通过</option>
        <option value="2">复审通过</option>
        <option value="3">审核不通过</option>
    </select>
    

      

    Selenium专门提供了select类来处理下拉框。其实WebDriver中提供了一个叫Select的方法,可以帮助我们完成这些事情:

    # 导入 Select 类
    from selenium.webdriver.support.ui import Select
    
    # 找到 name 的选项卡
    select = Select(driver.find_element_by_name('status'))
    
    # 
    select.select_by_index(1)
    select.select_by_value("0")
    select.select_by_visible_text("未审核")
    

    以上是三种选择下拉框的方法,可以根据索引来选择、根据值来选择、根据文字内容来选择。注意:

    • index 索引从0开始
    • value 是option标签的一个属性值,并不是显示在下拉框中的值
    • visible_text 是option标签文本的值,是显示在下拉框的值

    全部取消选择:select.deselect_all()

    弹窗处理

    当你触发了某个事件之后,页面出现了弹窗提示,处理这个提示或者获取提示信息方法:

    alert = driver.switch_to_alert()
    

    页面切换

    一个浏览器肯定会有很多窗口,所以我们肯定要有方法来实现窗口的切换。切换窗口的方法如下:

    driver.switch_to.window("this is window name")
    

    也可以使用window_handles 方法来获取每个窗口的操作对象。

    for handle in driver.window_handles:
        driver.switch_to_window(handle)
    

    页面前进和后退

    操作页面的前进和后退功能:

    driver.forward()     #前进
    driver.back()        # 后退
    

    Cookie

    获取页面每个Cookie值:

    for cookie in driver.get_cookies():
        print("%s -> %s" % (cookie['name'], cookie['value']))
    

    删除Cookie:

    # 通过Cookie名
    driver.delete_cookie("CookieName")
    
    # 删除所有
    driver.delete_all_cookies()
    

    页面等待

    现在的网页越来越多的采用了Ajax技术,这样程序便不能确定何时页面完全加载完成。如果实际页面等待时间过长导致某个dom元素还没出来,但是你的代码直接使用了这个WebElement,那么就会抛出NullPointer的异常。

    为了避免这种元素定位困难而且可能会导致抛异常,所以Selenium提供了两种等待方式,一种是隐式等待,一种是显式等待。

    隐式等待是等待特定的时间,等待是指定某一个条件成立时继续执行。

    隐式等待

    隐式等待比较简单,就是简单地设置一个等待时间,单位为秒。

    from selenium import webdriver
    
    driver = webdriver.Chrome()
    # 等待10秒
    driver.implicitly_wait(10) # seconds
    driver.get("http://www.baidu.com/")
    myDynamicElement = driver.find_element_by_id("myDynamicElement")
    

    显式等待

    显式等待为指定某个条件,然后设置最长等待时间。如果在这个时间内,指定条件成立,则继续往下执行;如果在这个时间,指定条件还未成立,那么便会抛出异常。

    from selenium import webdriver
    from selenium.webdriver.common.by import By
    # WebDriverWait 库,负责循环等待
    from selenium.webdriver.support.ui import WebDriverWait
    # expected_conditions 类,负责条件出发
    from selenium.webdriver.support import expected_conditions as EC
    
    driver = webdriver.Chrome()
    driver.get("http://www.baidu.com/")
    try:
        # 页面一直循环,直到 id="myDynamicElement" 出现
        element = WebDriverWait(driver, 10).until(
            EC.presence_of_element_located((By.ID, "myDynamicElement"))
        )
    finally:
        driver.quit()
    

    如果不写参数,程序默认会0.5s调用一次来查看元素是否已经加载完成,如果本来元素就是存在的,那么会立即返回。

    下面是一些内置的等待条件,可以直接调用这些条件,而不用自己写某些等待条件了。

    title_is
    title_contains
    presence_of_element_located
    visibility_of_element_located
    visibility_of
    presence_of_all_elements_located
    text_to_be_present_in_element
    text_to_be_present_in_element_value
    frame_to_be_available_and_switch_to_it
    invisibility_of_element_located
    element_to_be_clickable – it is Displayed and Enabled.
    staleness_of
    element_to_be_selected
    element_located_to_be_selected
    element_selection_state_to_be
    element_located_selection_state_to_be
    alert_is_present
    

    当然如果不设置,默认等待时间为0。

  • 相关阅读:
    CNN comprehension
    Gradient Descent
    Various Optimization Algorithms For Training Neural Network
    gerrit workflow
    jenkins job配置脚本化
    Jenkins pipeline jobs隐式传参
    make words counter for image with the help of paddlehub model
    make words counter for image with the help of paddlehub model
    git push and gerrit code review
    image similarity
  • 原文地址:https://www.cnblogs.com/mayi0312/p/7231242.html
Copyright © 2011-2022 走看看