selenium五十行代码自动化爬取淘宝

先看一下代码，真的只是五十行：

# coding=gbk

from selenium import webdriver
import time

options = webdriver.ChromeOptions()
options.add_argument(r'--user-data-dir=C:UserslwyAppDataLocalGoogleChromeUser DataDefault')
options.add_experimental_option('excludeSwitches', ['enable-automation'])
driver = webdriver.Chrome(options=options)
driver.get('https://www.taobao.com/')


headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36',
           'Referer': 'https://www.taobao.com/'}


def request_page():
    driver.find_element_by_xpath('//*[@id="q"]').send_keys('男装')
    time.sleep(3)
    driver.find_element_by_xpath('//*[@id="J_TSearchForm"]/div[1]/button').click()
    time.sleep(5)
    # 控制页数
    for i in range(5):
        # 获取每页存放所有商品的div
        all_thing_div = driver.find_element_by_xpath('//*[@id="mainsrp-itemlist"]/div/div/div[1]')
        # 获取每个商品的div列表
        thing_div_list = all_thing_div.find_elements_by_xpath('./div')
        # 依次获取每个商品的信息
        for thing_div in thing_div_list:
            info_div_list = thing_div.find_element_by_css_selector('.ctx-box').find_elements_by_xpath(
                './div')  # 获取每个商品下面信息的4个div
            price = info_div_list[0].find_element_by_xpath('./div[1]/strong').text  # 单价
            customer = info_div_list[0].find_element_by_xpath('./div[@class="deal-cnt"]').text  # 购买数量
            thing_name = info_div_list[1].find_element_by_xpath('./a').text
            thing_lianjie = info_div_list[1].find_element_by_xpath('./a').get_attribute('href')
            store_name = info_div_list[2].find_element_by_xpath('./div[1]/a/span[2]').text
            store_where = info_div_list[2].find_element_by_xpath('./div[2]').text
            print("单价：", price, "购买数量：", customer, '商品名称:', thing_name, '店铺名称：', store_name, '店铺所在地', store_where,
                  '链接:', thing_lianjie)
        print('第{0}页爬取完成'.format(i+1))
        if i+1 == 5:
            break
        driver.find_element_by_xpath('//*[@id="mainsrp-pager"]/div/div/div/ul/li[8]/a/span[1]').click()
        time.sleep(10)


if __name__ == '__main__':
    request_page()
    driver.close()

第七行用来加载chrome的配置文件，需要改成自己的路径，可以再chrome的地址栏里输入chrome://version查看，第八行用来绕过淘宝对selenium的检测，request_page是自定义的爬虫函数，主要是利用xpath语法，真的不要太方便，第一个for循环用来控制爬取的页数，第二个for循环用来爬取每一个商品。

（ps：还是正在努力的小菜鸡，希望大佬执教，，xixiiixi。。。。）

**********不积跬步无以至千里**********