【python】抄写爬淘宝已买到的宝贝的代码

教程地址：http://cuiqingcai.com/1076.html

这一篇掌握的不好。虽然代码可以跑，但是里面的很多东西都一知半解。需要有空的时候系统整理。

原代码中的正则表达式已经失效了，我自己又重新写的。

知识点：

1.cookie的使用

2.验证码的处理，填写后的提交方式

3.浏览器打开页面

4.提交的表单信息可以通过火狐浏览器中  F12-网络-POST方法-参数-表单数据 来获得。

疑问：

1.无法获取翻页信息，只能重复的输出第一页信息。且第一页信息不全。

2.一次性下了多个订单时，只显示第一个。

3.为何用gbk解码？ 

4.为何正则表达式中用 u****的编码形式，而不是直接写汉字？

5.为何谷歌浏览器和火狐浏览器用F12看到的内容不一样？谷歌浏览器的要长很多，结构非常复杂，且没有明晰的关键字，都是0.2.3.1这样的东西；火狐浏览器的关键字就比较明了，但结构不好，内容都写在同一行里。

6.用到的很多中转的url不知道是怎么来的？我用这些url可以得到正确的内容，但是我自己的浏览器上的url跟代码中的不同。这是为什么？？

7.ua, st, token是什么？为什么要这些？如何知道登陆时需要哪些信息？

8.stURL怎么来的？教程中说直接用

    https://login.taobao.com/member/vst.htm?st=1uynJELa4hKfsfWU3OjPJCw&TPL_username=cqcre

  的形式可以直接打开登陆后的页面，可是我获取了st，并输入我自己的用户名，结果在浏览器中登陆失败。可是代码中确实可以成功。为什么？

9. 为什么通过 pattern = re.compile('top.location = "(.*?)"', re.S) 就可以判断是否登陆成功？我在浏览器中，分别尝试登陆和未登录情况，都不能获得top.location这个关键字。

10.已买到的宝贝的url，代码中的和实际浏览器中显示的不同。且代码中无法获取翻页后的信息。

     代码中的是：'http://buyer.trade.taobao.com/trade/itemlist/listBoughtItems.htm?action=itemlist/QueryAction&event_submit_do_query=1' + '&pageNum=' + str(pageIndex)

     浏览器中的是：https://buyertrade.taobao.com/trade/itemlist/list_bought_items.htm?spm=xxxx.xxxxxxxxx.xxxxxxx.x.xxxxxxx

 　 spm的用途：导购效果跟踪http://open.taobao.com/doc2/detail.htm?articleId=959&docType=1&treeId=null

整体代码如下：（一些个人信息我删掉了）

import urllib.request
import urllib.parse
import re
import http.cookiejar
import webbrowser

#处理获得的宝贝页面
class Tool:
    #初始化
    def __init__(self):
        pass
    
    #获得页码数
    def getPageNum(self,page):
        pattern = re.compile('"totalPage":(.*?)}',re.S)
        result = re.search(pattern,page)
        if result:
            print("找到了共多少页")
            pageNum = result.group(1).strip()
            print('共',pageNum,'页')
            return pageNum
    def getGoodsInfo(self,page):
        #u'u8ba2u5355u53f7'是订单号的编码
        pattern = re.compile(u'createTime":"(.*?)","id":"(.*?)".*?"shopName":"(.*?)".*?snapUrl.*?"title":"(.*?)".*?priceInfo":{"original":"(.*?)".*?"realTotal":"(.*?)".*?"quantity":"(.*?)"', re.S)
        #pattern = re.compile(u'dealtime.*?>(.*?)</span>.*?u8ba2u5355u53f7.*?<em>(.*?)</em>.*?shopname.*?title="(.*?)".*?baobei-name">.*?<a.*?>(.*?)</a>.*?'
        #                    u'price.*?title="(.*?)".*?quantity.*?title="(.*?)".*?amount.*?em.*?>(.*?)</em>.*?trade-status.*?<a.*?>(.*?)</a>',re.S)
        result = re.findall(pattern,page)
        for item in result:
            print('------------------------------------------------------------')
            print("购买日期:",item[0].strip(), '订单号:',item[1].strip(),'卖家店铺:',item[2].strip())
            print('宝贝名称:',item[3].strip())
            print('原价:',item[4].strip(),'购买数量:',item[6].strip(),'实际支付:',item[5].strip())


#模拟登陆淘宝类
class Taobao:
    #初始化方法
    def __init__(self):
        #登陆的URL
        self.loginURL = "https://login.taobao.com/member/login.jhtml"
        #代理IP地址，防止自己的IP被封禁
        self.proxyURL = 'http://120.193.146.97:843'
        #登陆POST数据时发送的头部信息
        self.loginHeaders = {
        'Host':'login.taobao.com',
        'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:41.0) Gecko/20100101 Firefox/41.0',
        'Referer':'https://login.taobao.com/member/login.jhtml',
        'Content-Type':'application/x-www-form-urlencoded',
        'Connection':'keep-alive'
        }
        #用户名
        self.username = '自己的用户名'
        #ua字符串，经过淘宝ua算法计算得出，包含了时间戳,浏览器,屏幕分辨率,随机数,鼠标移动,鼠标点击,其实还有键盘输入记录,鼠标移动的记录、点击的记录等等的信息
        self.ua = '自己获取'
        #密码
        self.password2 = '自己获取'
        #post的数据就是F12后网络-POST方法-参数-表单数据 里的全部内容
        self.post = post = {
        'ua':self.ua,
        'TPL_username':self.username,
        'TPL_password':"",
        'TPL_checkcode':"",
        'loginsite':"0",
        'newlogin':"0",
        'TPL_redirect_url':"https://www.taobao.com/?spm=axxxxxxxxxxxxxx",
        'from':"tbTop",
        'fc':"default",
        'style':"default",
        'css_style':"",
        'keyLogin':"false",
        'qrLogin':"true",
        'newMini':"false",
        'tid':"",
        'support':"000001",
        'CtrlVersion':"1,0,0,7",
        'loginType':"3",
        'minititle':"",
        'minipara':"",
        'umto':"NaN",
        'pstrong':"",
        'sign':"",
        'need_sign':"",
        'isIgnore':"",
        'full_redirect':"",
        'popid':"",
        'callback':"",
        'guf':"",
        'not_duplite_str':"",
        'need_user_id':"",
        'poy':"",
        'gvfdcname':"10",
        'gvfdcre':"xxxxxxxxxxxxxxxxxxx",
        'from_encoding':"",
        'sub':"",
        'TPL_password_2':self.password2,
        'loginASR':"1",
        'loginASRSuc':"1",
        'allp':"",
        'oslanguage':"zh-CN",
        'sr':"1366*768",
        'osVer':"windows|6.3",
        'naviVer':"firefox|41"
        }
        #将POST的数据进行编码转换
        self.postData = urllib.parse.urlencode(self.post).encode(encoding='UTF8')
        #设置代理
        self.proxy = urllib.request.ProxyHandler({'http':self.proxyURL})
        #设置cookie
        self.cookie = http.cookiejar.CookieJar()
        #设置cookie处理器
        self.cookieHandler = urllib.request.HTTPCookieProcessor(self.cookie)
        #设置登陆用到的opener
        self.opener = urllib.request.build_opener(self.cookieHandler,self.proxy,urllib.request.HTTPHandler)
        #赋值J_HToken
        self.J_HToken = ''
        #登陆成功时，需要的Cookie
        self.newCookie = http.cookiejar.CookieJar()
        #登陆成功时，需要一个新的opener
        self.newOpener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(self.newCookie))
        #引入工具类
        self.tool = Tool()
        
    #得到是否需要输入验证码，有时需要，有时不需要
    def needIdenCode(self):
        #第一次登陆获取验证码尝试，构建request
        request = urllib.request.Request(self.loginURL,self.postData,self.loginHeaders)
        #得到第一次登陆尝试的响应
        response = self.opener.open(request)
        #获取其中的内容
        content = response.read().decode('gbk')
        #获取状态码
        status = response.getcode()
        #状态码为200，获取成功
        if status == 200:
            print(u"获取请求成功")
            #u8bf7u8f93u5165u9a8cu8bc1u7801这六个字是请输入验证码的utf-8编码
            pattern = re.compile(u'u8bf7u8f93u5165u9a8cu8bc1u7801', re.S)
            result = re.search(pattern, content)
            if result:
                print(u"您需要输入验证码")
                return content
            else:
                print(u"不需要输入验证码")
                #返回结果直接带有J_HToken,表明直接验证通过
                tokenPattern = re.compile('id="J_HToken" value="(.*?)"')
                tokenMatch = re.search(tokenPattern,content)
                if tokenMatch:
                    self.J_HToken = tokenMatch.group(1)
                    print(u"此次安全验证通过，您这次不需要输入验证码")
                    return False
        else:
            print(u"获取请求失败")
            return None
    
    #得到验证码图片
    def getIdenCode(self, page):
        #得到验证码的图片
        pattern = re.compile('img id="J_StandardCode_m.*?data-src="(.*?)"',re.S)
        #匹配的结果
        matchResult = re.search(pattern, page)
        #已经匹配得到内容，并且验证码图片链接不为空
        if matchResult and matchResult.group(1):
            print(matchResult.group(1))
            return matchResult.group(1)
        else:
            print(u"没找到验证码内容")
            return False
    
    #输入验证码，重新请求，如果验证成功，则返回J_HToken
    def loginWithCheckCode(self):
        #提示用户输入验证码
        checkcode = input('请输入验证码:')
        self.post['TPL_checkcode'] = checkcode
        #对post数据重新进行编码
        self.postData = urllib.parse.urlencode(self.post).encode(encoding='UTF8')
        try:
            #再次构建请求，加入验证码之后的第二次登陆尝试
            request = urllib.request.Request(self.loginURL,self.postData,self.loginHeaders)
            #得到第一次登陆尝试的响应
            response = self.opener.open(request)
            #获取其中的内容
            content = response.read().decode('gbk')  #为什么这里是用gbk解码呢 如何判断解码格式？
            #检测验证码错误的正则表达式，u9a8cu8bc1u7801u9519u8bef 是验证码错误五个字的编码
            pattern = re.compile(u'u9a8cu8bc1u7801u9519u8bef',re.S)
            result = re.search(pattern,content)
            #如果返回页面包括了，验证码错误五个字
            if result:
                print(u"验证码输入错误")
                return False
            else:
                #返回结果直接带有J_HToken字样，说明验证码输入成功，成功跳转到了获取HToken的界面
                tokenPattern = re.compile('id="J_HToken" value="(.*?)"')
                tokenMatch = re.search(tokenPattern,content)
                #如果匹配成功，找到了J_HToken
                if tokenMatch:
                    print(u"验证码输入正确")
                    print(tokenMatch.group(1))
                    self.J_HToken = tokenMatch.group(1)
                    return tokenMatch.group(1)
                else:
                    print(u"J_HToken获取失败")
                    return False
        except urllib.error.HTTPError as e:
            print(u"连接服务器出错，错误原因",e.reason)
            return False
    
    #通过token获得st
    def getSTbyToken(self, token):
        #下面的URL怎么来的？？
        tokenURL = 'https://passport.alipay.com/mini_apply_st.js?site=0&token=%s&callback=stCallback6' % token
        request = urllib.request.Request(tokenURL)
        response = urllib.request.urlopen(request)
        #处理st,获得用户淘宝主页的登陆地址
        pattern = re.compile('{"st":"(.*?)"}',re.S)
        result = re.search(pattern,response.read().decode('gbk')) #这里原本没有decode，但我觉得要加
        if result:
            print(u"获取st码成功")
            st = result.group(1)
            print(st)
            return st
        else:
            print(u"未找到st")
            return False
    
    #利用st码进行登陆，获取重定向网址
    def loginByST(self, st, username):
        stURL = 'https://login.taobao.com/member/vst.htm?st=%s&TPL_username=%s' % (st,username)
        headers = {
        'Host':'login.taobao.com',
        'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:41.0) Gecko/20100101 Firefox/41.0',
        'Connection':'keep-alive'
        }
        request = urllib.request.Request(stURL, headers = headers)
        response = self.newOpener.open(request)
        content = response.read().decode('gbk')
        #检测结果，看是否登陆成功
        pattern = re.compile('top.location = "(.*?)"', re.S)  #这里不懂？？
        match = re.search(pattern, content)
        if match:
            print(u"登陆网址成功")
            location = match.group(1)
            return True
        else:
            print(u"登陆失败")
            return False
    
    #获得已买到的宝贝页面
    def getGoodsPage(self,pageIndex):
        goodsURL = 'http://buyer.trade.taobao.com/trade/itemlist/listBoughtItems.htm?action=itemlist/QueryAction&event_submit_do_query=1' + '&pageNum=' + str(pageIndex)
        response = self.newOpener.open(goodsURL)
        page =  response.read().decode('gbk')
        return page
    
    #获取所有已买到的宝贝信息
    def getAllGoods(self,pageNum):
        print(u"获取到的商品列表如下")
        for x in range(1,int(pageNum)+1):
            page = self.getGoodsPage(x)
            self.tool.getGoodsInfo(page)
    
    
    #程序运行主干
    def main(self):
        #是否需要验证码，是则得到页面内容，不是则返回False
        needResult = self.needIdenCode()
        if not needResult == None:
            if not needResult == False:
                print(u"您需要手动输入验证码")
                idenCode = self.getIdenCode(needResult)
                if not idenCode == False:
                    print(u"获取验证码成功")
                    print(u"请在浏览器中输入您看到的验证码")
                    webbrowser.open_new_tab(idenCode)
                    self.loginWithCheckCode()
                else:
                    print(u"验证码获取失败，请重试")
            else:
                print("不需要输入验证码")
        else:
            print(u"请求登陆页面失败，无法确认是否需要验证码")
        
        #判断token是否正常获取到
        if not self.J_HToken:
            print(u"获取Token失败，请重试")
            return
        #获取st码
        st = self.getSTbyToken(self.J_HToken)
        #利用st进行登陆
        result = self.loginByST(st, self.username)
        if result:
            #获得所有宝贝的页面
            page = self.getGoodsPage(1)
            pageNum = self.tool.getPageNum(page)
            self.getAllGoods(pageNum)
        else:
            print(u"登陆失败")

taobao = Taobao()
taobao.main()