#coding=utf-8
import urllib2
import urllib
import re
import time
from bs4 import BeautifulSoup
def fun ():
headerl = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'
}
zuozhe = []
neirong = []
print u'开始:',
a = input()
print u'结束:',
b = input()
while True:
print u'第%s页
' % str(a)
url = 'https://www.qiushibaike.com/8hr/page/'+str(a)+'/'
res = urllib2.Request(url,headers=headerl)
response = urllib2.urlopen(res).read()
soup = BeautifulSoup(response,'html.parser')
neirong = soup.select('div.content span')
zuozhe = soup.select('div.author a h2')
for i in range(len(zuozhe)):
print '%s:
%s
' % (zuozhe[i].text,neirong[i].text)
print u'回车继续'
raw_input()
a+=1
if a>b:
break
print u'谢谢使用'
raw_input()
def fun1():
str = u"""
脚本名称:糗事百科爬虫
版本:0.3
创造人:小白大人
创造时间:2017.7.19
持续更新。。。敬请期待
按回车开始获取信息
"""
print str
raw_input()
fun()
if __name__ == '__main__':
fun1()
自己做的一个糗百热门文章的爬虫,可以实现选择页数进行爬取,可能优化的还不是很完善,程序会持续更新,希望可以帮助到大家
如果有朋友找到BUG了,记得私信我2333
以此记录自己学习python之路