selenium + firefox/chrome/phantomjs登陆之模拟点击

登陆之模拟点击

工具：python/java + selenium + firefox/chrome/phantomjs

（1）windows开发环境搭建

默认已经安装好了firefox

• 安装pip

pip是一个python的软件包管理工具，用于自动下载并安装、更新python 包，python3之后的某些版本已经自带pip，在python 2.7之前的话，需要自己安装，现在的安装方法已经非常简单，直接查看官方doc：http://pip.readthedocs.org/en /stable/installing/，下载get-pip.py并执行python get-pip.py即可一键安装。其他方法可参考《怎么在windows下安装pip》。为了便于使用，最好添加到系统变量PATH中。

• 安装phantomjs

从官网下载windows版本的压缩包(http://phantomjs.org/download.html)。下载之后，直接解压到本地。建议使用最新版phantomjs-2.0.0-windows.zip，因为有些情况下phantomjs不能正确的解析仅仅是因为版本兼容性不好，这种bug基本无解，绕来绕去最终换过版本就好了。

• 安装selenium

如果是python环境，安装好pip之后，直接使用

pip install selenium
pip install --upgrade selenium # 升级到最新版本

如果是java环境，下载一个完整的selenium-server-standalone-2.48.2.jar包即可，这个包很大，已经包含了所有依赖包和各种driver如（htmlunit driver之类的）

（2）linux（debian)开发环境搭建

• 安装firefox

版权问题，debian自带的浏览器并不是firefox。如果想在debian环境下，使用firefoxDriver进行模拟点击，就必须先安装firefox。我在debian服务器上试了几种方法均失败，不过下面还是说一下找到的几种方法。

方法一：从firefox官网下载linux版之后，直接解压firefox

方法二：命令行安装。

参考

1.

•              libsqlite3-dev libfontconfig1-dev libicu-dev libfreetype6 libssl-dev    

•              libpng-dev libjpeg-dev python libx11-dev libxext-dev  

• b. 编译，大约需要半个小时，请耐心等待

git clone git://github.com/ariya/phantomjs.git
cd phantomjs
git checkout 2.0
./build.sh

具体可参考phantomjs的官网：http://phantomjs.org/build.html

• 安装selenium

跟windows一样简单，直接pip install selenium就搞定，前提是pip可用。

（3） selenium的使用介绍

selenium是一个自动化测试工具，支持多种编程语言java/python /javascript/ruby/php/C#/perl。我们在爬虫中主要用于抓取动态页面时模拟浏览器行为，绕过后台执行js的复杂过程，用“所见 即所得”的方式进行页面点击、截屏、悬浮窗拖拽等。之前中文资料比较少，加上selenium 2.0和1.0巨大的区别，csdn上的中文博客大多不好使。刚搜了一下，好像有些中文社区和更正式一点的博客，感觉不错，先贴出来：

1. 《webDriver中文教程 & 中文社区》貌似是今年的，比较官方的样子，还没细看

2. 《Selenium Webdriver 简易教程》

3.  官网的webdriver使用文档，也属于入门级别，有些复杂操作需要从其他有经验的使用者的博客里边略窥一二。

4.《The Selenium Browser Automation Project》介绍比较全面。

 下面主要介绍一下可能遇到的坑，别人的经验可以参考《记录我遇到的使用selenium让人摸不着头脑的问题 》，下面是我碰过几次的

• iframe & window

Selenium2（webdriver）在使用get(url)方法打开一个网页的时候，是不会继续加载里面的iframe中的页面源码，这与selenium 1的使用不同。当碰到有些元素不可选的时候，可以使用开发者工具查看是否有iframe元素。

# 切换iframe
driver.switch_to.frame("frameName") # 还有其他api
# 切换window
for handle in driver.window_handles:
   driver.switch_to.window(handle)

• 不同的webdriver

     官网已经有使用webdriver的优缺点的比较，例如firefox通常比ie快，而无界面的HtmlUnitDriver通常会比firefox快，但对js的支持并不是那么好。并且不同driver对xpath语法的支持也不一样。

    就个人使用经验来看，即便是同样的webdriver差别还是有点大的。例如在某些firefox的版本是可以抓取数据的，但在另外一些版本就不 行，selenium在这两年的演化过程中，中途出现过对最新firefox各种报错、但对老版本firefox就正常，以及对老phantomjs不能 抓取，最新版本phantomjs就OK的情况。当遇到各种很诡异的关于浏览器不能抓取问题的时候，需要考虑尝试不同的webdriver，以避开 selenium对个别型号的浏览器支持不良的情况。

• 隐式等待与显示等待

    当网页上有ajax等动态元素时，webdriver.get(url)只会等待html和js文件加载完成，但不一定会等待js生成的元素都出现在页面 源码中。使用xpath或者css选择器的时候，如果js产生的代码没有加载完成，就会报错，这种我们用开发者工具能发现的元素，但webdriver找 不到的情况，通常都是因为等待时间不够造成的。通常有两种方法：

第一种隐式等待，优点是想法简单，缺点是不同的页面需要的加载时间不同，为了保证数据正确，需要取一个最大的等待时间，拖慢代码执行效率。python中的源码如下

<span style="font-size:12px;"># 每次获取页面都设置10秒钟的超时时间</span>

driver.implicitly_wait(10) 第二种是显示等待。用于指定等待到页面加载到某些为真的可控条件，例如出现某个元素之后，就认为需要的页面内容已经加载完成了，python代码如下：

<span style="font-size:12px;"># 构建WebDriverWait,设置最大超时时间是30秒</span>

wait = WebDriverWait(driver, 30)

<span style="font-size:12px;"># 等待页面出现id=authFrame的元素出现，一旦出现就进入下一步</span>

wait.until(EC.frame_to_be_available_and_switch_to_it((By.ID,'authFrame'))) 关于数据等待可以参考:《如何等待页面元素加载完成》java实现，同时举了个需要页面等待的栗子。

（4）itunes登陆的代码示例

一切不上代码的演示都是耍流氓。

        import selenium,platform
        from selenium import webdriver
        from selenium.webdriver.common.by import By
        from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
        from selenium.common.exceptions import TimeoutException
        from selenium.webdriver.support.ui import WebDriverWait # available since 2.4.0
        from selenium.webdriver.support import expected_conditions as EC # available since 2.26.0
        from selenium.webdriver.common.by import By

        driverPath = '/home/phantomjs/bin/phantomjs'
        if platform.system()=='Windows':
            driverPath = 'D:/python_tool/phantomjs-2.0.0-windows/bin/phantomjs.exe'
#         driver = webdriver.PhantomJS(executable_path=driverPath) #使用phantomJs进行驱动
        driver = webdriver.Firefox() #使用FireFox进行模拟点击，运行此段代码的时候，会启动firefox

        url = 'https://itunesconnect.apple.com/WebObjects/iTunesConnect.woa' # itunes登陆页面
        driver.get(url) # 跟浏览器一样加载页面
#        driver.implicitly_wait(10) #每次加载页面的时候等待10秒钟
        wait = WebDriverWait(driver, 30) # 页面加载时间可能比较长
        try: # 等待页面加载完成
            wait.until(EC.frame_to_be_available_and_switch_to_it((By.ID,'authFrame'))) # 等待出现id为authFrame的元素载入完成
            wait.until(EC.element_to_be_clickable((By.ID,'appleId'))) # 等待出现id为appId的元素可以点击
            print driver.title
        except:
            print 'error'*20
            driver.quit()
        # 输入账号、密码并点击提交
        driver.find_element_by_id('appleId').send_keys(self.account)
        driver.find_element_by_id('pwd').send_keys(self.password)
        driver.find_element_by_id('sign-in').click()
        # 显示等待一段页面跳转
        time.sleep(5)

        print '---  login success  ----'
        #print driver.get_cookies()#打印cookie
        for cookie in driver.get_cookies():
            print "%s -> %s" % (cookie['name'], cookie['value'])
        return

如果想访问别的数据页面，可以driver.get(url)和click方法逐步访问、点击。这个效率会比较低，selenium也可以使用多线程操作，但selenium并不保证多线程的数据一致性，简单的讲对多线程的支持不是很好。