用Python爬虫爬了世纪佳缘后发现了一个秘密

今天在知乎上看到一个关于【世纪佳缘找对象靠谱吗？】的讨论，其中关注的人有 1903，被浏览了 1940753 次，355 个回答中大多数都是不靠谱。用 Python 爬取世纪佳缘的数据是否能证明它的不靠谱？

​

数据抓取

在 PC 端打开世纪佳缘网站，搜索 20 到 30 岁、不限地区的女朋友

​

翻了几页找到一个 search_v2.php 的链接，它的返回值是一个不规则的 json 串，其中包含了昵称、性别、是否婚配、匹配条件等等

​

点开 Hearders 拉到最下面，在它的参数中 sex 是性别、stc 是年龄、p 是分页、listStyle 是有照片

​

通过 url + 参数的 get 方式，抓取了 10000 页的数据总共 240116

​

需要安装的模块有 openpyxl，用于过滤特殊的字符

# coding:utf-8
import csv
import json

import requests
from openpyxl.cell.cell import ILLEGAL_CHARACTERS_RE
import re

line_index = 0

def fetchURL(url):
   
    headers = {
        'accept': '*/*',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36',
        'Cookie': 'guider_quick_search=on; accessID=20201021004216238222; PHPSESSID=11117cc60f4dcafd131b69d542987a46; is_searchv2=1; SESSION_HASH=8f93eeb87a87af01198f418aa59bccad9dbe5c13; user_access=1; Qs_lvt_336351=1603457224; Qs_pv_336351=4391272815204901400%2C3043552944961503700'
    }

    r = requests.get(url, headers=headers)
    r.raise_for_status()
    return r.text.encode("gbk", 'ignore').decode("gbk", "ignore")


def parseHtml(html):

    html = html.replace('\', '')
    html = ILLEGAL_CHARACTERS_RE.sub(r'', html)
    s = json.loads(html,strict=False)
    global line_index

    userInfo = []
    for key in s['userInfo']:
        line_index = line_index + 1
        a = (key['uid'],key['nickname'],key['age'],key['work_location'],key['height'],key['education'],key['matchCondition'],key['marriage'],key['shortnote'].replace('
',' '))
        userInfo.append(a)

    with open('sjjy.csv', 'a', newline='') as f:
        writer = csv.writer(f)
        writer.writerows(userInfo)


if __name__ == '__main__':
    
    for i in range(1, 10000):
        url = 'http://search.jiayuan.com/v2/search_v2.php?key=&sex=f&stc=23:1,2:20.30&sn=default&sv=1&p=' + str(i) + '&f=select&listStyle=bigPhoto'
        html = fetchURL(url)
        print(str(i) + '页' + str(len(html)) + '*********' * 20)
        parseHtml(html)

　　

发现秘密

在处理数据去掉重复的时候发现有好多重复的，还以为是代码写的有问题呢，查了好久的 bug 最后才发现网站在 100 页只有的数据有好多重复的，下面两个图分别是 110 页数据和 111 页数据，是不是有很多熟面孔。

110 页数据

111 页数据

过滤重复后的数据只剩下 1872 了，这个水分还真大

def filterData():
    filter = []
    csv_reader = csv.reader(open("sjjy.csv", encoding='gbk'))
    i = 0
    for row in csv_reader:
        i = i + 1
        print('正在处理：' + str(i) + '行')
        if row[0] not in filter:
            filter.append(row[0])
    print(len(filter))

　　

总结

世纪佳缘的数据告诉我们网上交友需谨慎。用好 Python 走遍网络都不怕。

注意：如果你是打算找python高薪工作的话。我建议你多写点真实的企业项目积累经验。不然工作都找不到，当然很多人没进过企业，怎么会存在项目经验呢？ 所以你得多找找企业项目实战多练习下撒。如果你很懒不想找，也可以进我的Python交流圈：1156465813。群文件里面有我之前在做开发写过的一些真实企业项目案例。你可以拿去学习，不懂都可以在裙里找我，有空会耐心给你解答下。

 

以下内容无用，为本篇博客被搜索引擎抓取使用
(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)
python 是干什么的 零基础学 python 要多久 python 为什么叫爬虫
python 爬虫菜鸟教程 python 爬虫万能代码 python 爬虫怎么挣钱
python 基础教程 网络爬虫 python python 爬虫经典例子
python 爬虫
(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)
以上内容无用，为本篇博客被搜索引擎抓取使用