动态网页爬虫学习笔记

Selenium+chromedriver获取动态数据:

官方文档

Selenium相当于是-一个机器人。可以模拟人类在浏览器上的一些行为，自动处理浏览器上的一些行为，比如点击，填充数据，删除cookie等。chromedriver 是-个驱动Chrome浏览器的驱动程序，使用他才可以驱动浏览器。当然针对不同的浏览器有不同的driver。

以下列出了不同浏览器及其对应的driver:

1. Chrome: https:// sites google.com/a/chromium.org/chromedriver/downloads

2. Firefox: http://github.com/mozilla/geckodriver/releases

3. Edge: https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/

4. Safari: https://webkit. org/blog/6900/webdriver-support-in-safari-10/

安装Selenium和chromedriver:

1.安装Selenium : Selenium 有很多语言的版本，有java、 ruby、 python等。我们下载python版本的就可以了。
　　　　　　pip install selenium

2.安装chromedriver :下载完成后,放到不需要权限的纯英文目录下就可以了。

---

页面等待:

现在的网页越来越多采用了Ajax技术，这样程序便不能确定何时某个元素完全加载出来了。如果实际页面等待时间过长导致某个dom元素还没出来，但是你的代码直接使用了这个WebElement,那么就会抛出NullPointer的异常。为了解决这个问题。所以Selenium提供了两种等待方式:一种是隐式等待、一种是显式等待。

1.隐式等待:

调用 driver. implicitly_wait。那么在获取不可用的元素之前，会先等待10秒中的时间。

示例代码如下:

driver = webdriver.Chrome(executable_path=driver_path)
driver. implicitly_wait(10)
#请求网页
driver.get("https://www . douban. com/")

2.显示等待:

显示等待是表明某个条件成立后才执行获取元素的操作。也可以在等待的时候指定一个最大的时间，如果超过这个时间那么就抛出一个异常。显示等待应该使用selenium.webdriver.support.excepted_ conditions 期望的条件和selenium.webdriver.support.ui.WebDriverWait来配合完成。

示例代码如下:

from selenium import webdriver
from selenium.webdriver.comon.by import By
from selenium.webdriver.support.ui import WebDriverwait
from selenium.webdriver.support import expected_ conditions as EC

driver = webdriver.Firefox()
driver.get("http://somedomain/ur1_that_delays_ loading" )
try:
    element=WebDriverWait(driver,10).until(
                  EC. presence_ of_ element_ located((By.ID, "myDynamicElement"))
                  )
finally:
     driver.quit()
            

3.一些其他的等待条件:

• presence_of_element_located:某个元素已经加载完毕了。
• presence_of_all_emement_located:网页中所有满足条件的元素都加载完毕了
• element_to_be_cliable:某个元素是可以点击了。

更多条件请参考: http://selenium-python.readthedocs.io/waits.html

---

 切换页面:

有时候窗口中有很多子tab页面。这时候肯定是需要进行切换的。selenium 提供了一个叫做switch .to window来进行切换，具体切换到哪个页面，可以从driver.window_ handles中找到。

示例代码如下:

# 打开一个新的英面
self.driver.execute_script("window. open( ' "*+ur1+*" ' )")
# 切换到这个新的页面中
se1f.driver.switch_to_window(self.driver.window_handles[1])

---

设置代理ip:

有时候频繁爬取一些网页。服务器发现你是爬虫后会封掉你的ip地址。这时候我们可以更改代理ip。更改代理ip,不同的浏览器有不同的实现方式。这里以Chrome 浏览器为例来讲解: 

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("--proxy-server=http://110.73.2.248:8123")
driver_path = r"D:ProgramAppchromedriverchromedriver.exe"
driver = webdriver.Chrome(executable_ path=driver.path,chrome_options=options)

driver.get('http://httpbin.org/ip*)

---

WebElement元素:

from selenium.webdriver.remote.webelement import WebElement 类是每个获取出来的元素的所属类。

有一些常用的属性:
1. get_attribute:  这个标签的某个属性的值。
2. screentshot:  获取当前页面的截图。这个方法只能在driver 上使用。
   driver的对象类，也是继承自WebElement。
更多请阅读相关源代码。