Python简单爬虫记录

为了避免自己忘了Python的爬虫相关知识和流程，下面简单的记录一下爬虫的基本要求和编程问题！！

简单了解了一下，爬虫的方法很多，我简单的使用了已经做好的库requests来获取网页信息和BeautifulSoup来进行正则判定文本。这样也算是简单的入门了爬虫的基本实验，也能够从网页上爬取自己想要的信息！

link = 'http://news.sina.com.cn/'
res = requests.get(link)
res.encoding = 'utf-8' #设置文本的编码格式是utf-8的文件格式
soup = BeautifulSoup(res.text, 'html.parser') #通过res中的成员变量.text来得到HTML的文本res.text
alink = soup.select('a') #选择class模块中的a来作为提取的目标的判定条件：<a href="http://mil.news.sina.com.cn/"><span class="titName ptn_05">军事</span></a>
DATA = set() #创建一个set集合
Cookies = ['军事', '教育', '科技', '文化'] #创建一个目标提取项目
for link in alink:
    if link.text in Cookies: #alink中包含了所有的以a开头的class文本，link.text提取了其中一个link的文本内容
        Temp = 'The title of link '+link.text+' is :'+link['href'] #使用link['herf']来取herf对应的字典字符串，也就是对应的链接
        DATA.add(Temp) #在DATA数据中加入满足正则要求的文本文件
for Info in DATA:
    print(Info)
Check = input('Please input the content you want to see:')
Str = ''
for W in list(DATA):
    if W.find(Check) != -1:
        Str = Str + W + '
'
File = open('C:\Users\AdministratorDesktopPython爬虫准备demoInfo1.txt', 'w') #将取得的文件写入到文件夹当中
File.writelines(Str)
File.close()

HTML = 'http://book.weibo.com/newcms/tp_p4c51t160.html'
res = requests.get(HTML)
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text, 'html.parser')
title = soup.select('.S_title')
print(title[0].text)
content = soup.select('.S_explain')
print(content[0].text)
Count = soup.select('.book_vote')
Bname = soup.select('.book_name')
Aname = soup.select('.book_author')
Blink = soup.select('a')
Info = ''
for i in range(len(Bname)):
    Info = Info + Bname[i].text + '-->' + Aname[i].text + '(' +
           Count[i].text.replace(' ', '') + ')' + '--link:' +
           Blink[i*4]['href']+'

'
print(Info)
Data = title[0].text + '
' + content[0].text + '
' + Info
F = open('C:\Users\AdministratorDesktopPython爬虫准备demoInfo2.txt', 'w')
F.writelines(Data)
F.close()

Init_link = 'https://www.douyu.com/directory/all'
Data = requests.get(Init_link)
Data.encoding = 'utf-8'
soup = BeautifulSoup(Data.text, 'html.parser')
Res = soup.select('.mes')
Count = soup.select('p')
for i in Res:
    if i.text.find('英雄联盟') != -1:
        Str = i.text.replace(' ', '').replace('
', '')
        print(Str)
        print(Str[len(Str)-3:len(Str)])
print(len(Res))

对于爬虫，你只需要大概的懂得一些HTML网页的编程就可以了，主要的是要能分析网页的结构，和在每一步中得到的数据的数据形式，是集合set还是字典dict还是列表list或者是字符串，只有清楚的知道数据的类型，才能很好的处理和使用数据信息！

当然，我设想后面来爬取每天的天气信息，通过自己的一些硬件来完成出门前的自动提醒功能，也算是简单的嵌入式智能家居的设计了~