分析Ajax请求并抓取今日头条街拍美图

分析Ajax请求并抓取今日头条街拍美图

分析网页

以上作为data参数，offset不是页码，页面下滑，新的内容刷新，offset值变大。

找到请求地址：

请求网址高亮部分为固定内容，后半在data中。

如果请求中不加cookie会遇到下列问题：

取出来的数据不完整。

所以要找到Cookie，将其放入请求头中。

requests.get请求内容出错最有是cookie问题，下载图片时不要有header。

import json
import os
import re
from urllib.parse import urlencode
import requests
from bs4 import BeautifulSoup
from requests.exceptions import RequestException
import config
import pymongo
from hashlib import md5
from multiprocessing import Pool

client = pymongo.MongoClient(config.MONGO_URL, connect=False)
db = client[config.MONGO_DB]

def get_page_index(offset, keyword):
    data = {
        'aid': 24,
        'app_name': 'web_search',
        # 'offset': 0,
        'offset': offset,
        'format': 'json',
        # 'keyword': '人像摄影',
        'keyword': keyword,
        'autoload': 'true',
        'count': 20,
        'en_qc': 1,
        'cur_tab': 1,
        'from': 'search_tab',
        'pd': 'synthesis',
        # 'timestamp': 1560048654702,
    }
    url = 'https://www.toutiao.com/api/search/content/?' + urlencode(data)
    # print(url)
    headers = {
        'Cookie': 'UM_distinctid=16b3761e1ad453-0595b1308b57738-70226752-100200-16b3761e1ae16e;'
                  'tt_webid=6700158723510421000;csrftoken=9529582d3a82b38c3de771c3142adee4;'
                  'tt_webid=6700158723510421000;'
                  'WEATHER_CITY=%E5%8C%97%E4%BA%AC;'
                  'CNZZDATA1259612802=627663064-1560000420-%7C1560062522;'
                  '__tasessionId=3e436xfba1560065889568;'
                  's_v_web_id=fc9f6b68f10a508f45a92c3bc7ca0400',
        'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:67.0) Gecko/20100101 Firefox/67.0',
        'Host': 'www.toutiao.com',
    }
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            # print(response.text)
            return response.text
        return None
    except RequestException:
        print('请求索引页出错')
        return None

# 取出具体文章的地址
def parse_page_index(html):
    data = json.loads(html)  # 请求得到的是json格式
    if data and 'data' in data.keys():   # 判断获取是否成功, 键中是否有data
        try:
            for item in data.get('data'):    # 从响应中得到data数据
                yield item.get('article_url')   # 在页面响应 中找到 文章的地址
        except TypeError:
            pass

# 详情
def get_page_detail(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:67.0) Gecko/20100101 Firefox/67.0',
        'Host': 'www.toutiao.com',
    }
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            # print(response.text)
            return response.text
        return None
    except RequestException:
        print('请求详情页出错', url)
        return None

# 解析详情页
def parse_page_detail(html, url):
    # print(html)
    soup = BeautifulSoup(html, 'lxml')

    title = soup.select('title')[0].get_text()
    # print("title:", title)
    image_pattern = re.compile('pgc-img"&gt.*?(http.*?)&quot', re.S)
    results = re.findall(image_pattern, html)
    for image in results:
        print(image)
        download_image(image)
    if results:
        return {
            'title': title,
            'url': url,
            'image': results
        }


# 存储
def save_to_mongo(result):
    if db[config.MONGO_TABLE].insert(result):
        print('存储MongoDB成功', result)
        return True
    return False

def download_image(url):  # 传入的是图片url
    print("保存的图片：", url)
    try:
        response = requests.get(url)
        if response.status_code == 200:

            save_image(response.content)  # 二进制内容
        return None
    except RequestException:
        print('请求图片出错', url)
        return None

def save_image(content):            #当前路径
    file_path = '{0}/picture/{1}.{2}'.format(os.getcwd(), md5(content).hexdigest(), 'jpg')
    if not os.path.exists(file_path):
        with open(file_path, 'wb') as f:
            f.write(content)
            f.close()

def main(offset):
    html = get_page_index(offset, '人像摄影')
    print("offset:", offset)
    for url in parse_page_index(html):
        if url == None:  #  url文章url
            continue
        # print(url)
        html_detail = get_page_detail(url)    # 得到该文章具体页面内容

        if html_detail:
            re = parse_page_detail(html_detail, url)    # 找出标题与图片
            if re == None:
                continue
            save_to_mongo(re)


if __name__ == '__main__':
    groups = [x * 20 for x in range(config.GROUP_START, config.GROUP_END + 1)]

    pool = Pool()
    pool.map(main, groups)

配置文件：

MONGO_URL='localhost'
MONGO_DB='toutiao'
MONGO_TABLE='toutiao'
GROUP_START=1
GROUP_END=20

可以将数据保存在mongodb中，并将图片保存在picture下。

可视化数据库robomongo