python篇-第一个爬虫程序

突然觉得爬虫的功能非常强大，于是就学了学，试着在牛客网上操作了一番。

功能为爬取牛客网竞赛上的每一场比赛，从而以列表的形式得出每场比赛的过题量，以及获取总过题量。。。效果如下：

经过谷歌浏览器的F12发现，这些信息存储于一个动态的js中（ps：我也不是很懂，所以就先这样描述了），因为过题信息肯定不是静态的，你AC一个题，服务器那边就会将你过题信息局部地刷新，说了这么多废话，其实就是说这些信息不会在网页源代码中，原来直接把源代码当作字符串处理的方法就不行了。。然而，这些动态信息也是有网址的，通过f12可以获取到实时的动态信息，再把含有动态信息的源代码

当作字符串处理就行了。（ps：还需要对应身份的实时cookie）

import requests
import re
import time
import urllib
from bs4 import BeautifulSoup
headers = {
    
    'Cookie':'_'
   
}


urls = ['https://www.nowcoder.com/acm/contest/problem-list?token=&id={}&_=**********'.format(str(num)) for num in range(1,139)]
num = 0
tot = 0
tottxt='data :
'
for url in urls:
    res = requests.get(url,headers=headers, verify = False)
    num = num+1
    try:
        ss = re.findall('"index":"D","myStatus":"通过"',res.text)
       
        if int(len(ss))>0:
            ss2 = re.search('"problemCount":d+',res.text)
            tottxt=tottxt+'Contest id:'+str(num)+'
'
            temp = requests.get('https://www.nowcoder.com/acm/contest/{}#question'.format(str(num)))
            ss3 = re.search('<title>(.*?)</title>',temp.text)
            if ss3!=None:
                newss3 =re.sub('<title>','',ss3.group())
                newss3 =re.sub('_牛客网</title>','',newss3)
                tottxt =tottxt+newss3+'
'
           
            tottxt=tottxt+'     "Accepted":'+str(len(ss))+'/'
          
            tot = tot+len(ss)
            if ss2!=None:
                newss2=re.sub('D','',ss2.group())
                tottxt = tottxt +newss2
            tottxt=tottxt+'
'
            time.sleep(2)
           
    except ConnectionError:
        print("**ConnectionError**")
        
tottxt=tottxt+'
'+'All Accepted:'+str(tot)
f = open('tot2.txt','wb+')
tottxt = tottxt.encode('utf-8')
f.write(tottxt)
f.close()