python爬虫 -- 浏览器的抓包编码可以绝对信任吗

前言

 

本次也是记录一个偶然发现的小问题，有关js逆向和app逆向的系列文章，放一放，有空再系统的整理成文发布了。

 

这个问题就很骚了，废话不多说，直接情景再现

 

目标网站：
aHR0cHM6Ly93d3cubW5kLmdvdi50dy9QdWJsaXNoTVBCb29rLmFzcHg/JnRpdGxlPSVFOCVCQiU4RCVFNCVCQSU4QiVFNSU4OCU4QSVFNyU4OSVBOSZTZWxlY3RTdHlsZT0lRTglQkIlOEQlRTQlQkElOEIlRTYlOUMlOUYlRTUlODglOEE=

 

 

复现问题

我们的目标就是要下载这个网站的资源文件

 

首先这个是一级页面，以下圈出的就是二级页面

 

 

 

 

进入二级页面，我下面圈出的地方就是三级页面地址

 

 

 

 

点击三级页面网址，三级页面其实就是在二级底部渲染出来的，下面圈出的什么什么下载的就是我们要的数据了

 

 

 

是不是看着很简单

 

好的，我们直接看他的请求接口：

 

前面两个都是get请求，第三个是post请求，所以我们着重点就在第三个，先看链接：

 

 

这里看下，有个值没有正常显示：

 

 

 

没事，这个不打紧了，再看请求体：

 

 

__EVENTTARGET: ctl00$ContentPlaceHolder1$RtList$ctl01$LkBt
__EVENTARGUMENT: 
__VIEWSTATE: i2jc3XTd0XMvdzkJDXcki1wScYnJdfCuOoUlDvgf4ql6TMq8g84WYO1rZ6MyTNjqdoSpUkPNx8VG53Qo2d8+bDEpAlN5bx9At8ApkxRBaAVEthimHSC2wu1pZWg37peXtm+oMKecNXW3cFST4OEGp5rmb3IIcJ4iRnn6v2B6W5VGo3SsBIh5LOA4nAtX0ut87EN
__VIEWSTATEGENERATOR: 0361E37B
__EVENTVALIDATION: 7pEeFbpkgYsGh94FYMVpb/V2HHBATMf46U6yW9OlMx9O55RRM1pySTFubl19vw1ec9F9mBMNS+UZ46T/osr9+s+tOZv4G8ecnT2UsKcl7Vf0vill/V2uqzoLHOiqzkTQIkiUFlK1lwBv89wcIa0zUBdlUZ5/t+YSEEg2GYP7hOL7RpaJM6LOlwKIFrRQY/QiRQ3tL1KPBQ9vEIw3+SUxC905LH8wKjFiCsJpskpThyAR4aySYRF2yZbzNFHWMWiAgZQUd/9O3MXvK6/RZa42d9I8t7xJwAw==
TbSearch2: 
TbSearch: 
ctl00$ContentPlaceHolder1$txtSearch: 

 

 

然后，看到这些值，搞过国内某某网站都懂，就是c#的web框架生成出来的值，然后这些值都是在网站源码里面能找到的，其他也不存在什么加密参数，所以，很简单啊，直接拿着代码一顿操作就完了

 

 

 

 

 

import requests
from lxml import etree

url = 'https://www.xxxxxxxxx/PublishMPBook.aspx?&title=xxxx%A9&SelectStyle=xxxxx6%xxxxA'

session = requests.session()

headers = {
    
    'sec-ch-ua': '"Chromium";v="92", " Not A;Brand";v="99", "Google Chrome";v="92"',
    'sec-ch-ua-mobile': '?0',
    'Sec-Fetch-Dest': 'document',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-Site': 'same-origin',
    'Sec-Fetch-User': '?1',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36',
}

req = session.get(url, headers=headers)
res = req.content.decode('utf-8')
html = etree.HTML(res)
req.close()
data = html.xpath('//div[@class="thisPages"]/table/tr[position()>1]')
for item in data:
    curr = dict()
    link = item.xpath('./td[1]/a/@href')
    link = ''.join(link) if link else ''
    kind = item.xpath('./td[1]/a/@title')
    kind = ''.join(kind) if kind else ''
    pub_date = item.xpath('./td[@headers="LastUpdate"]/text()')
    curr['pub_date'] = pub_date
    pub_date = ''.join(pub_date) if pub_date else ''
    name = item.xpath('./td[@headers="DepartmentName"]/text()')
    name = ''.join(name) if name else ''
    curr['name'] = name
    link = 'https://www.mnd.gov.tw/' + link
    sec_req = session.get(link, headers=headers)
    sec_res = sec_req.content.decode('utf-8')
    sec_req.close()
    sec_html = etree.HTML(sec_res)
    sec_data = sec_html.xpath('//table[@class="table-bordered"]/tr[position()>1]')
    __VIEWSTATE = sec_html.xpath('//input[@id="__VIEWSTATE"]/@value')
    __VIEWSTATE = ''.join(__VIEWSTATE) if __VIEWSTATE else ''
    __VIEWSTATEGENERATOR = sec_html.xpath('//input[@id="__VIEWSTATEGENERATOR"]/@value')
    __VIEWSTATEGENERATOR = ''.join(__VIEWSTATEGENERATOR) if __VIEWSTATEGENERATOR else ''
    __EVENTVALIDATION = sec_html.xpath('//input[@id="__EVENTVALIDATION"]/@value')
    __EVENTVALIDATION = ''.join(__EVENTVALIDATION) if __EVENTVALIDATION else ''
    # print(12312323,__EVENTVALIDATION,__VIEWSTATEGENERATOR,__VIEWSTATE)
    # print(123132123,sec_data)
    for sec_item in sec_data:
        date = sec_item.xpath('./td[@headers="dates"]/text()')
        date = ''.join(date) if date else ''
        curr['date'] = date
        __EVENTTARGET = sec_item.xpath('./td[@headers="MPTable"]/a/@href')
        __EVENTTARGET = ''.join(__EVENTTARGET) if __EVENTTARGET else ''
        __EVENTTARGET = __EVENTTARGET.replace("javascript:__doPostBack('", '').replace("','')", '')
        thr_link = sec_item.xpath('//form[@name="aspnetForm"]/@action')
        thr_link = ''.join(thr_link) if thr_link else ''
        if thr_link:
            thr_link = thr_link.replace('./', '')
            thr_link = 'https://www.xxxxxxx/' + thr_link
            formdata = {
                '__EVENTTARGET': __EVENTTARGET,
                '__EVENTARGUMENT': '',
                '__VIEWSTATE': __VIEWSTATE,
                '__VIEWSTATEGENERATOR': __VIEWSTATEGENERATOR,
                '__EVENTVALIDATION': __EVENTVALIDATION,
                'TbSearch2': '',
                'TbSearch': '',
                'ctl00$ContentPlaceHolder1$txtSearch': '',
            }
            new_headers = headers.copy()
            new_headers.update({
                'Content-Type': 'application/x-www-form-urlencoded',
                'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9'
            })
            thr_req = session.post(thr_link, headers=new_headers, data=formdata)
            thr_res = thr_req.content.decode('utf-8')
            thr_req.close()
            thr_html = etree.HTML(thr_res)
            thr_data = thr_html.xpath('//td[@id="Subject"]/../../tr[position()>1]')
            for thr_item in thr_data:
                file_name = thr_item.xpath('./td[@headers="Subject"]/text()')
                file_name = ''.join(file_name) if file_name else ''
                curr['file_name'] = file_name
                author = thr_item.xpath('./td[@headers="Publisher"]/text()')
                author = ''.join(author) if author else ''
                curr['author'] = author
                file_link = thr_item.xpath('./td[@headers="Subject"]/input/@tile')
                file_link = ''.join(file_link) if file_link else ''
                curr['file_link'] = file_link
                date_year_month = ' '
                file_href = f'https://www.xxxxx/NewUpload/{date_year_month}/{file_link}'
                curr['file_href'] = file_href
                print(123123123213, curr) # 这里就是资源地址了，直接请求存储就行了

 

 

反正都不难，这对于很多朋友来说，这？？？？are you kidding  me？这么简单的东西值得你大费周章的解析？

 

嘿嘿嘿，我要不是遇到这个坑，我还真的觉得不至于

 

先不细说，调试运行看结果：

 

 

 

 

看着状态码是200，觉得稳得一批对吧，接着看xpath解析部分：

 

 

 

 

傻眼了吧，为什么会是空，按正常人逻辑，那多半是dom节点没取对是吧，好，看下返回的源码，一看就出问题了，网站平台的结果如下：

 

 

 

 

在结果里搜，问题大了，根本就没有啊

 

 

 

 

也就是，第三次请求本身就出问题了，根本没有返回正常结果，很奇怪了。

 

那我第一个想到的就是，估计那几个请求参数出问题了，排查了几个小时，就是没问题啊，我后面用postman单独测试最后一次请求：

 

 

 

 

就是有啊，我单独的把第三级的拿出来请求：

 

 

它就是没有正常的获取数据，很骚啊，而且不是一点半点的骚。

 

 

最后，我想到一个前端的概念，既然它是submit，看下源码有没有什么猫腻：

 

 

发现确实没有啊，url也就是它这里给的地址，也不存在什么csrf-token之类的，这是为啥啊，一时之间把我整不会了，貌似搞了几年的爬虫跟没搞过一样，这么个问题愣是没整出来，也不涉及js混淆，也不涉及接口加密，所有字段都摆在那，都能拿到，但是就是请求失败，这说实话多多少少有点伤自尊了

 

找到关键点

那如果真没有解决的话，我也就不会发这篇博客了，跟着分析了一波，既然是所谓的submit，好，那action其实不指定的话就是源地址，而源地址就是第二级链接的，我把第二级和第三级链接复制出来对比：

 

 

 

 

发现，也就title的值不一样，其他都是一样的，而刚才我特别做了截图，第三级的时候，url的params在浏览器里没有被正常解析：

 

 

 

 

突发奇想，我就用第二级的链接请求呢？有朋友估计有疑惑了，不对啊，你怎么能用第二级的链接作为第三级访问呢？你拿到这个网站分析了就知道了，从二级到三级的时候，其实网站上部分是没有任何变化，变化的是底部突然就多了资源下载列表：

 

回顾一下，二级页面：

 

 三级页面：

 

 

 

如果您稍微懂一点前端知识的话就大概知道我在说什么了，不太理解的可以查下form表单标签的原理就懂了，好的，继续，这次直接用二级链接请求看看：

 

 

正常拿到结果，果然就是这个问题了

把最后的代码改成如下：

import requests
from lxml import etree

url = 'https://wxxxxxxStyle=xxxxx%E8%BB%8D%E4%BA%8B%E6%9C%9F%E5%88%8A'

session = requests.session()

headers = {
    'sec-ch-ua': '"Chromium";v="92", " Not A;Brand";v="99", "Google Chrome";v="92"',
    'sec-ch-ua-mobile': '?0',
    'Sec-Fetch-Dest': 'document',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-Site': 'same-origin',
    'Sec-Fetch-User': '?1',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36',
}

req = session.get(url, headers=headers)
res = req.content.decode('utf-8')
html = etree.HTML(res)
req.close()
data = html.xpath('//div[@class="thisPages"]/table/tr[position()>1]')
for item in data:
    curr = dict()
    link = item.xpath('./td[1]/a/@href')
    link = ''.join(link) if link else ''
    kind = item.xpath('./td[1]/a/@title')
    kind = ''.join(kind) if kind else ''
    pub_date = item.xpath('./td[@headers="LastUpdate"]/text()')
    curr['pub_date'] = pub_date
    pub_date = ''.join(pub_date) if pub_date else ''
    name = item.xpath('./td[@headers="DepartmentName"]/text()')
    name = ''.join(name) if name else ''
    curr['name'] = name
    link = 'https://wxxxxxxv.tw/' + link
    sec_req = session.get(link, headers=headers)
    sec_res = sec_req.content.decode('utf-8')
    sec_req.close()
    sec_html = etree.HTML(sec_res)
    sec_data = sec_html.xpath('//table[@class="table-bordered"]/tr[position()>1]')
    __VIEWSTATE = sec_html.xpath('//input[@id="__VIEWSTATE"]/@value')
    __VIEWSTATE = ''.join(__VIEWSTATE) if __VIEWSTATE else ''
    __VIEWSTATEGENERATOR = sec_html.xpath('//input[@id="__VIEWSTATEGENERATOR"]/@value')
    __VIEWSTATEGENERATOR = ''.join(__VIEWSTATEGENERATOR) if __VIEWSTATEGENERATOR else ''
    __EVENTVALIDATION = sec_html.xpath('//input[@id="__EVENTVALIDATION"]/@value')
    __EVENTVALIDATION = ''.join(__EVENTVALIDATION) if __EVENTVALIDATION else ''
    # print(12312323,__EVENTVALIDATION,__VIEWSTATEGENERATOR,__VIEWSTATE)
    # print(123132123,sec_data)
    for sec_item in sec_data:
        date = sec_item.xpath('./td[@headers="dates"]/text()')
        date = ''.join(date) if date else ''
        curr['date'] = date
        __EVENTTARGET = sec_item.xpath('./td[@headers="MPTable"]/a/@href')
        __EVENTTARGET = ''.join(__EVENTTARGET) if __EVENTTARGET else ''
        __EVENTTARGET = __EVENTTARGET.replace("javascript:__doPostBack('", '').replace("','')", '')
        thr_link = sec_item.xpath('//form[@name="aspnetForm"]/@action')
        thr_link = ''.join(thr_link) if thr_link else ''
        if thr_link:
            thr_link = thr_link.replace('./', '')
            thr_link = 'https://wxxxxxw/' + thr_link
            formdata = {
                '__EVENTTARGET': __EVENTTARGET,
                '__EVENTARGUMENT': '',
                '__VIEWSTATE': __VIEWSTATE,
                '__VIEWSTATEGENERATOR': __VIEWSTATEGENERATOR,
                '__EVENTVALIDATION': __EVENTVALIDATION,
                'TbSearch2': '',
                'TbSearch': '',
                'ctl00$ContentPlaceHolder1$txtSearch': '',
            }
            new_headers = headers.copy()
            new_headers.update({
                'Content-Type': 'application/x-www-form-urlencoded',
                'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9'
            })
            # thr_req = session.post(thr_link, headers=new_headers, data=formdata)
            thr_req = session.post(link, headers=new_headers, data=formdata)
            thr_res = thr_req.content.decode('utf-8')
            thr_req.close()
            thr_html = etree.HTML(thr_res)
            thr_data = thr_html.xpath('//td[@id="Subject"]/../../tr[position()>1]')
            for thr_item in thr_data:
                file_name = thr_item.xpath('./td[@headers="Subject"]/text()')
                file_name = ''.join(file_name) if file_name else ''
                curr['file_name'] = file_name
                author = thr_item.xpath('./td[@headers="Publisher"]/text()')
                author = ''.join(author) if author else ''
                curr['author'] = author
                file_link = thr_item.xpath('./td[@headers="Subject"]/input/@tile')
                file_link = ''.join(file_link) if file_link else ''
                curr['file_link'] = file_link
                date_year_month = ' '
                file_href = f'https://www.xxxxx/xxxx/{date_year_month}/{file_link}'
                curr['file_href'] = file_href
                print(123123123213, curr)

运行结果肯定是有的，就不费篇幅展示了 

疑问

那细心的老哥估计要问了，为啥用postman和谷歌浏览器时，用的那个看到的三级链接就可以，在打码里得用二级链接才行？

 

卧槽，老哥，你问的这个问题，非常的专业，请看如下：

 

注意，上图右边的是python2环境下的，有没有发现，这可太对应了，也就【】被替换成了【%】，那果然是这个编码的问题了，右边不难看出，就是unicode编码，而谷歌浏览器能解析的默认是url编码的，所以显示的unable decode，

而为啥python里不行，我想应该是python你给什么url它就是什么，而postman和谷歌会把url做一定编码处理吧，但是具体我没有去仔细研究了，反正就是这个问题了，over

对了，补一个python3里的unicode编码：

 结语

 所以啊，浏览器的抓包还是不能绝对相信啊，这可是个大坑啊，搞了几个小时搞出来的，心累。。。。