Selenium 抓取淘宝商品美食信息

　　在使用python进行数据爬取的时候，我们发现ajax请求比较繁琐，那么有什么好的办法可以解决呢？就是使用selenium自动化工具，模拟输入点击，这样我们就可以不需要知道ajax的请求链接，从而可以直接通过类似人工的操作来模拟，从而可以获取网页数据。我们来举个例子。

　　淘宝的首页，我们打开发现没有商品数据的信息，而他的数据都是通过ajax请求获取的，那么我们使用ajax请求这种方法来获取数据简单吗？我们来看看。

　　我们在淘宝首页输入美食，进入美食界面我们发现他的链接：https://s.taobao.com/search?q=%E7%BE%8E%E9%A3%9F&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.2017.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170306    这么长，他的参数这么多，我们都需要一一来给他赋值，下面就是所有的参数的名称还有信息，而且有的参数我们根本不知道到底是什么意思。所以就很麻烦，我们就使用selenium工具来自动化输入。

　　首先我们需要加载淘宝界面：

browser = webdriver.Chrome()
wait=WebDriverWait(browser,10)
client=pymongo.MongoClient(MONGO_URL)
db=client[MONGO_DB]
browser.set_window_size(1400,900)

def serach():
    try:
        browser.get('https://www.taobao.com')
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR,'#q'))
        )#通过css 选择器找到淘宝主页的输入框
        submit = wait.until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_TSearchForm > div.search-button > button'))
        )#通过css 选择器找到淘宝主页的搜索按钮
        input.send_keys('美食')#向输入框中输入美食
        submit.click()#点击搜索按钮
        total = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.total'))
        )#找到美食界面中所有的页数
        get_product()
        return total.text#返回总页数
    except TimeoutException:
        return serach()#如果没有成功则重新请求

 　　请求成功后，我们需要来解析网页中商品的信息：

def get_product():
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-itemlist .items .item')))#加载找到的本页中所有的商品
    html=browser.page_source
    doc=pq(html)
    items = doc('#mainsrp-itemlist .items .item').items()#找到本页中商品的列表
    for item in items:
        product = {
            'image':item.find('.pic .img').attr('src'),#获取class为pic下的class为.img的src属性，也就是图片链接
            'price':item.find('.price').text(),#获取class为priced的文本，也就是价格
            'deal':item.find('.deal-cnt').text()[:-3],#获取class为deal-cnt的文本的倒数第三个之前的文本，也就是成交量（多少人付款）
            'title':item.find('.title').text(),#获取商品的名称
            'shop':item.find('.shop').text(),#获取商品的店铺名称
            'location':item.find('.location').text()#获取商品的产地
        }
        save_mongodb(product)

　　现在我们只获取了一页的内容，我们需要获取全部的内容，有两种办法：

　　第一种：selenium自动点击下一页，但是该方法的缺点就是，如果改页没有加载成功，我们就爬取不到改页的内容，无法判断是否爬取了这页

　　第二种：循环，自动输入需要跳转的下一页的页码，通过判断输入的内容和当前页码是否一致判断是否成功加载了本页，我们采用第二种方法。

def next_page(current_page):
    try:
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.form > input'))
        )#获取输入下一页的页码的输入框
        submit = wait.until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit'))
        )#获取确定按钮
        input.clear()#先清空输入框的内容
        input.send_keys(current_page)#在输入框中输入请求的页码
        submit.click()#点击确定
        wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > ul > li.item.active > span'),str(current_page)))
        # 判断请求的页码是否等于当前页，如果等于说明加载成功
        get_product()
    except TimeoutException:
        return next_page(current_page)# 如果失败则重新加载本页

然后我们还可以将数据保存在mongdb中，下面是全部代码：

import re

import pymongo
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from pyquery import PyQuery as pq
from config import *

browser = webdriver.Chrome()
wait=WebDriverWait(browser,10)
client=pymongo.MongoClient(MONGO_URL)
db=client[MONGO_DB]
browser.set_window_size(1400,900)

def serach():
    try:
        browser.get('https://www.taobao.com')
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR,'#q'))
        )#通过css 选择器找到淘宝主页的输入框
        submit = wait.until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_TSearchForm > div.search-button > button'))
        )#通过css 选择器找到淘宝主页的搜索按钮
        input.send_keys('美食')#向输入框中输入美食
        submit.click()#点击搜索按钮
        total = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.total'))
        )#找到美食界面中所有的页数
        get_product()
        return total.text#返回总页数
    except TimeoutException:
        return serach()#如果没有成功则重新请求

def next_page(current_page):
    try:
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.form > input'))
        )
        submit = wait.until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit'))
        )
        input.clear()
        input.send_keys(current_page)
        submit.click()
        wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > ul > li.item.active > span'),str(current_page)))
        get_product()
    except TimeoutException:
        return next_page(current_page)
def get_product():
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-itemlist .items .item')))#加载找到的本页中所有的商品
    html=browser.page_source
    doc=pq(html)
    items = doc('#mainsrp-itemlist .items .item').items()#找到本页中商品的列表
    for item in items:
        product = {
            'image':item.find('.pic .img').attr('src'),#获取class为pic下的class为.img的src属性，也就是图片链接
            'price':item.find('.price').text(),#获取class为priced的文本，也就是价格
            'deal':item.find('.deal-cnt').text()[:-3],#获取class为deal-cnt的文本的倒数第三个之前的文本，也就是成交量（多少人付款）
            'title':item.find('.title').text(),#获取商品的名称
            'shop':item.find('.shop').text(),#获取商品的店铺名称
            'location':item.find('.location').text()#获取商品的产地
        }
        save_mongodb(product)

def save_mongodb(result):
    try:
        if db[MONGO_TABLE].insert(result):
            print('保存到MongoDb成功！',result)
    except Exception:
        print('存储失败!')

def main():
    try:
        total=serach()
        total=int(re.compile('(d+)').search(total).group(1))
        for i in range(2,10):
            next_page(i)
    except Exception:
        print('出错了')
    finally:
        browser.close()

if __name__ == '__main__':
    main()

新建config.py文件：

MONGO_URL='localhost'
MONGO_DB='taobao'
MONGO_TABLE='meishi'

下面就是在MongoDB中的商品信息了。