百度APP爬虫

1.抓包

访问一个频道，Charles抓包，找到真实连接，一般返回json数据和网页中数据对应为真实连接

请求方式为post，所以要添加请求头和表单数据，由于在charles环境下，所以要添加charles的代理ip和认证文件，然后进行测试，访问成功。

对不同的频道分别经过charles抓包，发现请求的链接都是一样的，只是更换了表单中tab_id属性来对应不同的频道，所以创建一个存储tab_id和频道名的字典，更换时从tab_id字典中取值，来实现不同频道的访问

2.封ip测试

一直访问并没有被封，所以就放开了采吧

3.概览页

一般概览页的数据库中存放文章的链接，但是这个百度APP返回数据中含有所有字段，所以将返回的数据全部存放到数据库中。

4.细览页

读取概览页数据库中的数据，通过正则解析出各个字段，去除无效信息，字段加密存放到数据库中

 

 

注：charles代理ip自行设置；url只提供一个样子，自行抓取；数据库自行设置；认证文件自行设置；表单数据自行抓取；数据解析模块需要什么自己就解析什么，这里不提供了；处理上还不是很完美，自行修改；

 gailanye.py

import requests
import re
import time
import pymysql


class BD(object):
    def __init__(self):
        self.url = 'https://mbd.baidu.com/searchbox?-此处省略-7ig'
        self.form = {
            'data': '''此处省略。。。
                
        '''

        }
        self.proxy = {
            'https': 'https://此处省略'
        }
        self.channel = {
            '1': '推荐',
            '3': '娱乐',
            '4': '体育',
            '5': '时尚',
            '6': '国际',
            '8': '热点',
            '12': '汽车',
            '13': '军事',
            '14': '科技',
            '15': '财经',
            '16': '游戏',
            '17': '女人',
            '18': '历史',
            '28': '搞笑',
            '35': '情感',
            '34': '美食',
            '41': '居家',
            '42': '政务',
            '43': '旅游',
            '44': '辟谣',
            '51': '健康',
            '54': '萌宠',
            '72': '新华社',
            '75': '虎扑',
            '81': '澎湃新闻',
            '85': '人民日报',
            '106': '36氪',
            '88': '虎嗅',
            '309999289': '上海',
            '309999257': '广州',
            '309999340': '深圳',
            '309999332': '天津',
            '309999179': '杭州',
            '309999315': '南京',
            '309999218': '武汉',
            '109999131': '北京',
        }

    def modify_tab_id(self, tab_id):
        # 修改表单中的tab_id
        self.form['data'] = re.sub('"tab_id": "(d+)"', '"tab_id": "{}"'.format(tab_id), self.form['data'])
        # self.form['data'] = re.sub('"last_update_time": (d+),', '"last_update_time": {}000,'.format(int(time.time())), self.form['data'])
        return self.form['data']

    def get_data(self):
        # 获得频道和内容
        list_d = []
        for data in self.channel:
            data_channel = []
            print('='*20)
            print(data)
            self.form['data'] = self.modify_tab_id(data)
            response = requests.post(self.url, data=self.form, proxies=self.proxy, verify='*.pem')
            datas = response.text
            channel = self.channel[data]
            data_channel = [channel, datas]
            print(data_channel)
            list_d.append(data_channel)
        return list_d

    def save_data(self, list_d):
        # 写入数据库
        host = '127.0.0.1'
        db = 'bd'
        user = 'root'
        psd = '123456'
        charset = 'utf8'

        con = pymysql.connect(host=host, db=db, user=user, passwd=psd, charset=charset)

        cur = con.cursor()

        for i in list_d:
            print(i)
            sql = (
                "insert into gly(此处省略)"
                "values(此处省略)")
            list_m = [i[0], i[1]]  # i[0]为频道名  i[1]为数据
            try:
                cur.execute(sql, list_m)
                print('insert success')
            except Exception as e:
                print('insert error', e)
                con.rollback()
            else:
                con.commit()
        cur.close()
        con.close()


if __name__ == '__main__':
    bd = BD()
    list_d = bd.get_data()
    bd.save_data(list_d)

xilanye.py

import pymysql
import json
import time
import hashlib
import requests
from lxml import etree
import re


# 娱乐频道先删除掉
# 体育频道有导航栏目前还无法获取data，先过滤掉


class XLY(object):
    def __init__(self):
        self.no_results_channel = []  # 存储没有数据的频道
        self.proxy = {
            'https': '....'
        }
        self.sum_data = 0

    def get_data(self):
        host = '127.0.0.1'
        db = 'bd'
        user = 'root'
        pwd = '123456'
        charset = 'utf8'
        con = pymysql.connect(host=host, db=db, user=user, passwd=pwd, charset=charset)

        datas = []
        cur = con.cursor()
        sql = 'select * from gly'
        try:
            cur.execute(sql)
            results = cur.fetchall()
            i = 0
            for result in results:
                i += 1
                data = []
                # 读出来是元组类型，转化为列表返回
                result = list(result)
                if '{"100":[]}' in result[1]:
                    self.no_results_channel.append(result[0])
                    print('no results channel:', result[0])
                elif 'navigatorItems' in result[1]:
                    print('有导航栏的频道，还没有处理')
                else:
                    data = [result[0], result[1]]
                    datas.append(data)
                    print('get_data')
                print('=' * 20, i)
                # if i == 5:
                #     break
        except Exception as e:
            print('error', e)
            con.rollback()
        else:
            con.commit()
        return datas

    def parse_data(self, datas):
        items = []
        for data in datas:
            channel = data[0]
            channel_data = data[1]
            channel_data = json.loads(channel_data)
            channel_data = channel_data['data']['100']['itemlist']['items']

            for text in channel_data:
                print('='*20)
                item = {}
                try:
                    mode = text['data']['mode']
                except:
                    mode = ''
                    print('mode not found')
                # 根据mode判断是否为文章，过滤掉图集广告
                if mode == 'text':
                    此处省略

                    m1 = hashlib.md5()
                    m1.update(item['urlname'].encode("utf8"))
                    item['hkey'] = m1.hexdigest()

                    try:
                        item['comments'] = text['data']['comment_num'][:-2]
                    except:
                        item['comments'] = ''
                        print('no comment_num')

                    # 解析content
                    content, url_time = self.parse_content(item['urlname'])
                    101                     102                     print(item)
                    self.save_data(item)
                if item != {}:
                    items.append(item)
        return items

    def parse_content(self, url):
        # 根据每一篇文章获取content， url_time
        response = requests.get(url, proxies=self.proxy, verify='此处省略.pem')
        text = response.text
        element = etree.HTML(text)
        contents = element.xpath('//p[@class="contentText contentSize contentPadding"]//text()')
        url_time = element.xpath('//div[@class="infoSet"]//text()')
        try:
            if '17-' in url_time:
                url_time = re.sub('17', '2018', url_time)
                print(url_time)
            else:
                url_time = '2018-' + str(url_time[1])
        except:
            url_time = ''
        if not contents:
            contents = ''
        else:
            contents = ''.join(contents)
        return contents, url_time

    def save_data(self, item):
        host = '127.0.0.1'
        db = 'bd'
        user = 'root'
        pwd = '123456'
        charset = 'utf8'

        con = pymysql.connect(host=host, db=db, user=user, passwd=pwd, charset=charset)
        cur = con.cursor()
        sql = 'insert into xly(此处省略)' 
              'values(此处省略)'
        list = [此处省略]
        try:
            cur.execute(sql, list)
            print('insert success')
            self.sum_data += 1
            print('成功插入数据库第{}条'.format(self.sum_data))
        except Exception as e:
            print('error~~', e)
            con.rollback()
        else:
            con.commit()
        # cur.execute(sql, list)
        cur.close()
        con.close()


if __name__ == '__main__':
    xly = XLY()
    datas = xly.get_data()
    items = xly.parse_data(datas)