慕课中爬取淘宝商品信息

import requests
import re

def getTHMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return " "

def parsePage(ilt, html):
    try:
        plt = re.findall(r'"view_price":"[d.]*"',html)
        tlt = re.findall(r'"raw_title":".*?"', html)
        for i in range(len(plt)):
            price = eval(plt[i].split(":")[1])
            title = eval(tlt[i].split(":")[1])
            ilt.append([price, title])
    except:
        print(" ")

def printGodeList(ilt):
    tplt = "{:4}	{:8}	{:16}"
    print(tplt.format("序号", "价格", "商品名称"))
    count = 0
    for g in ilt:
        count = count + 1
        print(tplt.format(count, g[0], g[1]))

def main():
    goods = "书包"
    depth = 3
    start_url = "https://s.taobao.com/search?q=" + goods
    infoList = []
    for i in range(depth):
        try:
            url = start_url + "&s==" + str(44*i)
            html = getTHMLText(url)
            parsePage(infoList, html)
        except:
            continue
    printGodeList(infoList)

main()

这个爬取采用了，requests-re路线实现了淘宝商品的比价定向爬取，并没有采用requests-BeautifulSoup的方法来实现。用正则表达的方式来提取信息，比用bs4库的方法更加简单。重难点也是正则表达式的应用。

我们分析价格的使用键值对表示的，所以我们应该找“view_price",来寻找价格。

分析商品的名称，是用键值对表示的。所以应该用"raw_title"来寻找商品的名称。