005 爬虫（requests与beautifulSoup库的使用）

一：知识点

1.安装requests库

　　

2.Brautiful soup

　　可以提供一些简单的，python式的函数来处理导航，搜索，修改分析树等功能。

　　她是一个工具箱，通过解析文档为用户提供需要抓去的数据。

　　自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。

　　现在是使用Beautiful Soup4，不过现在已经被移植到BS4了，即导入需要导入bs4。

3.导入

　　pip install beautifulsoup4

　　

4.创建Beautiful Soup对象

　　导入bs4库

　　　　from bs4 import BeautifulSoup

　　创建：

　　　　soup=BeautifulSoup（html）

5.程序

import requests
from bs4 import BeautifulSoup
r=requests.get("http://www.baidu.com",headers={'User-Agent':'Mozilla/4.0'})
soup=BeautifulSoup(r.text,"html.parser")
print soup.prettify()

6.打印soup的内容

　　print soup.prettify()

7.四大对象种类

　　Beautiful Soup将复杂的HTML文档转换成一个复杂的树形结构，每个节点都是Python对象，将所有的对象归纳为四种。

　　　　BeautifulSoup

　　　　Tag

　　　　NavigableString

　　　　Comment

8.BeautifulSoup

　　对象表示是一个文档的全部内容，大部分的时候，可以将它当作Tag对象，是一个特殊的Tag，我们可以获取它的类型，名称，以及属性。

　　soup.name

　　soup.attrs

9.Tag的使用

　　找到的是第一个，后面的都没显示。

　　soup.title.name

　　soup.title.attrs

　　soup.meta['content']

　　soup.meta.get('content')

import requests
from bs4 import BeautifulSoup
r=requests.get("http://www.baidu.com",headers={'User-Agent':'Mozilla/4.0'})
soup=BeautifulSoup(r.text,"html.parser")
print soup.title
print soup.meta

效果：

　　<title>百度一下，你就知道</title>
　　<meta content="text/html;charset=utf-8" http-equiv="content-type"/>

10.NavigableString

　　获取标签内部的文字。

　　soup.标签名.string

import requests
from bs4 import BeautifulSoup
r=requests.get("http://www.baidu.com",headers={'User-Agent':'Mozilla/4.0'})
soup=BeautifulSoup(r.text,"html.parser")
print soup.title.string

效果：

　　百度一下，你就知道

11.Comment

　　是一个特殊类型的NavigableString对象，其实输出的内容仍然不包含注释符号。

12.常用方法（过滤）

　　name

　　attrs

　　text

　　limit

　　recursive：要不要搜索子孙节点。

　　

13.常用方法

　　find_all

　　find

　　.contents     .children

　　.descendants

　　.string

　　.parent

　　.next_sibling

　　next_elements     .previous_elements

14.程序

import requests
from bs4 import BeautifulSoup
r=requests.get("http://www.baidu.com",headers={'User-Agent':'Mozilla/4.0'})
soup=BeautifulSoup(r.text,"html.parser")
print soup.script.parent
print soup.title.string

二：案例

1.网址

　　https://movie.douban.com/top250?start=0&filter=

　　

2.程序

#encoding=utf-8
import requests
from bs4 import BeautifulSoup
import re
import xlwt

#创建全局变量，保存电影信息
dataList=[]

#根据地址和开始行获取网页的文本内容
def getHtmlTest(url,startRow):
    #头部筛选函数
    if(startRow==0):
        param={}
    else:
        param={'start':startRow,'filter':''}
    #获取网页
    r=requests.get(url,params=param,headers={'User-Agent':'Mozilla/4.0'})
    return r.text

#创建函数将传入的文本解析获取所需要的数据
def getData(html):
    soup=BeautifulSoup(html,'html.parser')
    #获取class为grid_view的ol下面的所有列表
    movieList=soup.find('ol',attrs={'class':'grid_view'})
    #遍历查找内容
    for movieLi in movieList.find_all('li'):
        data=[]
        #获取电影名称
        movieHd=movieLi.find('div',attrs={'class':'hd'})
        movieName=movieHd.find('span',attrs={'class':'title'}).getText()
        data.append(movieName)

        #电影分数
        movieScore=movieLi.find('span',attrs={'class':'rating_num'}).getText()
        data.append(movieScore)

        #电影评价人数
        movieEval=movieLi.find('div',attrs={'class':'star'})
        movieEvalNum=re.findall(r'd+',str(movieEval))[-1]
        data.append(movieEvalNum)

        #电影评价
        movieQuote=movieLi.find('span',attrs={'class','inq'})
        if(movieQuote):
            data.append(movieQuote.getText())
        else:
            data.append("无影评信息")

        #添加到全局变量中
        dataList.append(data)
    return

#保存到excel
def saveData(savePath):
    book=xlwt.Workbook(encoding='utf-8')
    sheet=book.add_sheet('前250名的电影信息')
    col=(u'电影名称',u'电影评分',u'评论人数',u'短评')
    for i in range(0,4):
        sheet.write(0,i,col[i])
    for i in range(0,250):
        data=dataList[i]
        for j in range(0,4):
            sheet.write(i+1,j,data[j])
    book.save(savePath)
    return

#创建主函数
def mainFunc():
    url='https://movie.douban.com/top250'
    startRow=0
    while startRow<250:
        html=getHtmlTest(url,startRow)
        getData(html)
        startRow += 25
    saveData('movieData.xls')
    return

#测试
mainFunc()

3.效果

　　

　　

·