《python3网络爬虫开发实战》--动态渲染页面爬取

Ajax可以对JS进行渲染，但有些直接通过JS来渲染，例如淘宝，许多图形是通过JavaScript计算之后形成的，里面的Ajax接口含有许多加密参数，无法找到规律，像Echarts

1. selenium

Selenium是一个 自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver import ActionChains
import time

browser = webdriver.Chrome()

'''
#访问百度，并查询python
try:
    browser.get('https://www.baidu.com')
    input = browser.find_element_by_id('kw')
    input.send_keys('Python')
    input.send_keys(Keys.ENTER)
    wait = WebDriverWait(browser, 10)
    wait.until(EC.presence_of_element_located((By.ID, 'content_left')))
    print(browser.current_url)
    print(browser.get_cookies())
    print(browser.page_source)
finally:
    browser.close()

#访问淘宝
#单个节点
browser.get('http://www.taobao.com')
input_first = browser.find_element_by_id('q')
input_second = browser.find_element_by_css_selector('#q')
input_third = browser.find_element_by_xpath('//*[@id="q"]')
print(input_first, input_second, input_third)
#print(browser.page_source)
browser.close()
'''

'''
#多个节点
import time
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input = browser.find_element_by_id('q')
input.send_keys('iPhone')
time.sleep(1)
input.clear()
input.send_keys('iPad')
button = browser.find_element_by_class_name('btn-search')
button.click()
'''

'''
#动作链
browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to_frame('iframeResult')
#source = browser.find_element_by_css_selector('#draggable')
#target = browser.find_element_by_css_selector('#droppable')
#actions =ActionChains(browser)
#actions.drag_and_drop(source, target)
#actions.perform()

#切换Frame
# Selenium打开页面后，它默认是在父级 Frame里面操作，
# 而此时如果页面中 还有子 Frame，它是不能获取到子 Frame里面的节点的 。 
# 这时就需要使用 switch_to.frame()方法来切 换 Frame。
try:
    logo = browser.find_element_by_class_name('logo')
except NoSuchElementException:
    print('NO LOGO')
browser.switch_to.parent_frame()
logo = browser.find_element_by_class_name('logo')
print(logo)
print(logo.text)
'''

'''
#获取js
browser =webdriver.Chrome()
browser.get('http://www.zhihu.com/explore')
#browser.execute_script('window.scrollTo(0, ducument.body.scrollHeight)')
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
browser.execute_script('alert("To Bottom")')
'''

'''
#获取节点信息
browser =webdriver.Chrome()
url = 'http://www.zhihu.com/explore'
browser.get(url)
logo = browser.find_element_by_id('zh-top-link-logo')
input = browser.find_element_by_class_name('zu-top-link-logo')

print(logo)
print(logo.get_attribute('class'))
print(input.text)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.id)
print(input.location)
print(input.tag_name)
print(input.size)
print(input.text)
'''

'''
#延时等待
#隐式等待
#使用隐式等待执行测试的时候，
#如果 Selenium没有在 DOM 中找到节点，将继续等待，
#超出设定时间后，则抛什1找不到节点的异常。
#browser = webdriver.Chrome()
#browser.implicitly_wait(10)
#browser.get('http://www.zhihu.com/explore')
#input = browser.find_element_by_class_name('zu-top-add-question')
#print(input)
#显式等待
#它指定要查找的节点，然后指定一个最长等待时间。
#如果 在规定时间内加载出来了这个节点，就返回查找的节点；
#如果到了规定时间依然没有加载出该节点，则抛阳超时异常。
browser = webdriver.Chrome()
browser.get('https://www.taobao.com/')
wait = WebDriverWait(browser, 10)
#until传入等待条件
#presence_of_element_located代表节点出现
input = wait.until(EC.presence_of_element_located((By.ID, 'q')))#节点定义为元组，所以是两对括号
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))
print(input, button)
'''

'''
#前进后退
browser.get('http://www.zhihu.com/explore')
browser.get('http://www.taobao.com')
browser.get('http://www.python.com')
browser.back()
time.sleep(1)
browser.forward()
browser.close()
'''

#'''
#cookies
browser.get('http://www.zhihu.com/explore')
print(browser.get_cookies())
print('--------------------------------------------------------------')
browser.add_cookie({
    'name': 'name',
    'domain': 'www.zhihu.com',
    'value': 'germey'
})
print(browser.get_cookies())
print('--------------------------------------------------------------')
browser.delete_all_cookies()
print(browser.get_cookies())
#'''

2. splash:

Splash是一个 JavaScript渲染服务，是一个带有 HTTPAPI 的轻量级浏览器，同时它对接了 Python中的Twisted和QT库。 利用它，我们同样可以实现动态谊染页面的抓取。

• 异步方式处理多个网页渲染过程 ;
• 获取渲染后的页面的源代码或截图;
• 通过关闭图片渲染或者使用 Adblock规则来加快页面渲染速度;口 可执行特定的 JavaScript脚本;
• 可通过 Lua脚本来控制页面渲染过程;
• 获取渲染的详细过程并通过 HAR ( HTTP Archive )格式呈现。